Codex Client Control

Codex Client Control начался с простой проблемы: большинство AI-инструментов могут объяснить Minecraft, поговорить о Minecraft и написать код для Minecraft, но они всё ещё не могут фактически управлять запущенным клиентом Minecraft.

Именно этот пробел и призван закрыть данный мод. Он открывает защищённый токеном локальный интерфейс HTTP и WebSocket на 127.0.0.1, чтобы AI-агент на той же машине мог читать состояние клиента и отправлять реальные игровые действия обратно в клиент, которым он должен управлять.

Этот проект создавался в первую очередь с расчётом на Codex. Название не случайно: он существует, чтобы дать Codex практический способ видеть, что делает клиент, изучать текущий интерфейс и выполнять реальные игровые операции, а не останавливаться на рассуждениях в текстовом виде.

На практике это означает, что внешний инструмент может читать чат, изучать текущий экран, проверять блок под прицелом, смотреть содержимое контейнера, перемещать игрока, поворачивать камеру, переключать слоты хотбара, вводить текст в поля GUI, кликать по виджетам, делать скриншоты или выполнять короткие последовательности действий.

HTTP был выбран намеренно. Он простой, лёгкий для изучения, лёгкий для отладки и лёгкий для вызова AI-инструментами. Если агент может сделать обычный локальный запрос, он может управлять клиентом без необходимости в специальном хосте плагинов или встроенной среде для скриптов.

Зачем это нужно

• Чтобы AI-инструменты могли управлять реальным клиентом Minecraft, а не только говорить о нём
• Чтобы дать Codex простой путь управления через локальный API
• Чтобы автоматизацию клиента было легко изучать, тестировать и расширять
• Чтобы соединить обычные скрипты, десктопные инструменты и AI-агентов с запущенным игровым клиентом

Чем можно управлять

• Состояние игрока, история чата, цель под прицелом, содержимое контейнера, текущий экран и список игроков
• Клавиши движения, управление взглядом, выбор слота хотбара, отправка сообщений в чат и выполнение команд
• Клики по GUI, ввод прокрутки, ввод клавиш, ввод текста и наведение на виджеты
• Скриншоты, последовательности действий, управляемые действия и локальные отладочные помощники

Примечания

• API по умолчанию работает только локально и защищён токеном.
• Он управляет клиентом, который у вас уже запущен; он не выполняет вход во второй аккаунт.
• Он создавался в первую очередь для Codex, но использовать его может всё, что умеет вызывать локальный API.
• Если вам нужна очень тяжёлая непрерывная автоматизация, в репозитории также есть дополнительный побочный проект lan-bot для такой нагрузки.