Face Tracker Mod

facetrackermod

ВНИМАНИЕ: ЭТОТ МОД СЛОЖЕН В ОБРАБОТКЕ! ДЛЯ ЭТОГО МОДА ТРЕБУЕТСЯ СПЕЦИАЛЬНЫЙ КЛИЕНТ. Скачать его можно здесь: https://github.com/tia9os/facetracker или Скачать его (устаревшая версия) здесь: https://github.com/tia9os/facetrackmod/releases facetrackermod подключает локальный трекер выражений лица с веб-камеры к Minecraft и отображает определённую эмоцию на лице игрока. Мод создан для Fabric 1.21.1 автором Antara89 и включает отдельный Java-клиент для ПК в папке ./client. Сопутствующий клиент локально считывает данные с вашей веб-камеры, определяет текущее выражение лица и отправляет компактные данные о выражении в Minecraft через localhost. Мод для Fabric получает эти данные, синхронизирует их через сервер и отрисовывает текстуры-оверлеи лиц на игроках, чтобы другие игроки тоже видели это выражение.

Возможности

• Отслеживание выражений лица с веб-камеры в реальном времени через входящий в комплект Java-клиент.
• Синхронизация выражений в мультиплеере через сеть Fabric.
• Оверлеи лиц игроков для нейтрального, радостного, грустного, удивлённого, говорящего, моргающего, подмигивающего и сосредоточенного выражений.
• Опциональные слоистые части лица для рта, левого глаза, правого глаза, левой брови и правой брови.
• Пользовательские текстуры лиц 8x8 PNG, загружаемые из run/expressions.
• Поддержка base.png для замены оригинального фона лица перед отрисовкой выражения.
• Синхронизация текстур: набор локальных текстур выражений каждого игрока загружается на сервер и распространяется среди других клиентов при их подключении.
• Опциональный локальный предпросмотр лица в HUD с настраиваемым углом, смещением и масштабом.
• Инструменты локальной записи и снимков в клиенте для ПК для тестирования и настройки.

Как это работает

1. Установите мод для Fabric на клиент и сервер Minecraft.
2. Запустите Minecraft с установленным модом.
3. Запустите сопутствующее приложение из корня репозитория:

./gradlew -p client run

В Windows используйте:

.\gradlew.bat -p client run

4. Запустите камеру в Face Expression Client.
5. Клиент отправляет обновления выражений клиенту Minecraft через 127.0.0.1:34321.
6. Если на сервере установлен мод, клиент Minecraft отправляет состояние выражения и набор текстур на сервер.
7. Модифицированные серверы распространяют их среди других модифицированных клиентов. На обычных серверах лицо с выражением всё равно отрисовывается локально для вас, но другие игроки его не видят.

Пользовательские текстуры

Текстуры выражений хранятся в:

run/expressions/

Поддерживаемые файлы:

base.png
neutral.png
happy.png
sad.png
surprised.png
talking.png
blinking.png
winking.png
focused.png

Каждый файл должен быть PNG размером 8x8. Прозрачные пиксели в текстурах выражений позволяют слою base.png просвечивать. Прозрачные пиксели в base.png позволяют просвечивать оригинальному лицу скина Minecraft. Слоистые части лица включаются опционально. Создайте эту папку, чтобы включить их:

run/expressions/parts/

Когда папка parts существует, мод создаёт и синхронизирует отсутствующие стандартные текстуры частей и отрисовывает эти слои вместо полного PNG выражения, когда все выбранные части доступны:

parts/mouth/neutral.png
parts/mouth/happy.png
parts/mouth/sad.png
parts/mouth/surprised.png
parts/mouth/talking.png
parts/left_eye/open.png
parts/left_eye/closed.png
parts/left_eye/focused.png
parts/right_eye/open.png
parts/right_eye/closed.png
parts/right_eye/focused.png
parts/left_eyebrow/neutral.png
parts/left_eyebrow/raised.png
parts/left_eyebrow/sad.png
parts/left_eyebrow/focused.png
parts/right_eyebrow/neutral.png
parts/right_eyebrow/raised.png
parts/right_eyebrow/sad.png
parts/right_eyebrow/focused.png

Локальный мост

Локальный UDP-мост слушает на:

127.0.0.1:34321

Мод по-прежнему принимает оригинальный формат пакетов FaceTrack:

facetrack|1|timestampMillis|expression|confidence|faceCount|smileScore|mouthOpen|mouthWide|sadScore|blinkScore|winkScore

Сопутствующий клиент теперь отправляет пакеты с учётом частей лица:

facetrack_parts|1|timestampMillis|expression|confidence|faceCount|smileScore|mouthOpen|mouthWide|sadScore|blinkScore|winkScore|fps|mouth|leftEye|rightEye|leftEyebrow|rightEyebrow

Слой лица base.png отрисовывается для локального игрока ещё до прихода первого пакета выражения. Синхронизированные базовые текстуры удалённых игроков отрисовываются после получения их набора текстур. Мод можно использовать на стороне клиента на обычных серверах. В этом режиме /facetrack status сообщает Server sync: local only; локальные оверлеи лиц и предпросмотр в HUD всё ещё работают, но удалённые игроки не получают ваше состояние выражения или текстуры.

Предпросмотр лица в HUD

Мод также может отрисовывать ваше локальное лицо с выражением как предпросмотр в HUD. По умолчанию он отключён и при включении располагается в правом верхнем углу.

/facetrack hud on
/facetrack hud off
/facetrack hud status
/facetrack hud corner top_right
/facetrack hud corner top_left
/facetrack hud corner bottom_right
/facetrack hud corner bottom_left
/facetrack hud offset 8 8
/facetrack hud scale 6

Смещение отсчитывается внутрь от выбранного угла. Настройки HUD сохраняются в:

run/config/facetrackermod-client.properties

Конфиденциальность

Видео с веб-камеры обрабатывается локально сопутствующим Java-клиентом. Кадры видео не отправляются на сервер Minecraft. Клиент отправляет только компактные значения выражений локальному клиенту Minecraft, а мод синхронизирует состояние выражения и небольшие PNG-текстуры 8x8 через сервер.

Требования

• Minecraft 1.21.1
• Fabric Loader
• Fabric API
• Java 21
• Веб-камера для отслеживания выражений в реальном времени
• Входящее в комплект приложение ./client для ввода с веб-камеры

Примечания

Определение выражения лица использует каскады Хаара из OpenCV и лёгкие эвристики, поэтому точность зависит от освещения, положения камеры и калибровки. Для лучшего результата начните с хорошо видимым лицом и сохраняйте нейтральное выражение во время калибровки.