llama.jar

llama.jar 🦙

llama.jar — это лёгкий и высокопроизводительный мод для Minecraft, который приносит мощь локальных больших языковых моделей (LLM) прямо в Minecraft с помощью llama.cpp. Работает полностью офлайн на вашем собственном железе: без API-ключей, без подписок и без единого внешнего сетевого запроса.

[!WARNING] Это альфа-версия, и она не была полностью протестирована во всех окружениях. Используйте с осторожностью и, пожалуйста, сообщайте обо всех найденных багах и проблемах.

Ключевые возможности

• Офлайн-инференс локальных LLM: запускайте любимые open-source модели (такие как LLaMA-3, Qwen-2.5, Phi-3, Mistral и другие) прямо внутри процесса Minecraft.
• Аппаратное ускорение и поддержка GPU: поддерживает многоядерное выполнение на CPU вместе с выгрузкой на GPU (CUDA, Metal, OpenCL/CLBlast) для аппаратно-ускоренной генерации. Поддерживает конфигурации с несколькими GPU.
• Встроенная интеграция с игрой: отправляйте запросы к загруженным моделям в реальном времени через игровые команды или слушайте взаимодействия.
• Основа для библиотечного мода: полностью спроектирован так, чтобы служить библиотечным модом. Вы можете импортировать llama.jar в свои моды, чтобы легко добавлять NPC с ИИ, динамическую генерацию квестов или умных автоматизированных ассистентов.

• Широкая совместимость версий: поддерживает платформы Forge и Fabric на нескольких версиях Minecraft:

  • 1.20.1
  • 1.21.1
  • 1.21.11

---

Как настроить

1. Скачайте мод: скачайте правильный jar, соответствующий вашему загрузчику (Forge или Fabric) и версии Minecraft.
2. Добавьте GGUF-модели: скачайте любую модель в формате GGUF (например, llama-3-8b-instruct.Q4_K_M.gguf или модели поменьше вроде qwen-2.5-1.5b-instruct) и поместите файл .gguf в папку .minecraft/models/.
3. Запустите Minecraft: мод автоматически настроит рабочее пространство при запуске.

---

Игровые команды

Управляйте моделями и запускайте запросы на лету с помощью прав на команды:

• /model list — выводит список всех доступных GGUF-файлов в вашей папке models/.
• `/model load ` — загружает выбранную модель в память.
• /model status — показывает информацию о текущей активной модели.
• `/llama ` — отправляет запрос загруженной модели и стримит вывод прямо в чат.
• /llama stop — немедленно останавливает текущую генерацию текста.

---

Конфигурация

В вашей папке config создаётся общий файл конфигурации (llamajar-common.toml или llamajar.json). Вы можете настроить параметры производительности:

• modelName — имя GGUF-модели, которая будет автоматически загружаться при запуске (оставьте пустым для ручной загрузки).
• systemPrompt — задайте системный промпт по умолчанию, чтобы настроить поведение, характер или правила модели (оставьте пустым, чтобы не использовать системный промпт).
• gpuLayers — количество слоёв модели, выгружаемых на GPU (чем выше, тем больше вычислений уходит в VRAM видеокарты).
• threads — количество потоков CPU, выделяемых на инференс модели (по умолчанию соответствует числу физических ядер CPU).
• contextLength — максимальный размер контекстного окна (в токенах) для диалогов.

---

Интеграция для разработчиков (использование как библиотечного мода)

Чтобы использовать llama.jar как основу для своего мода с ИИ, добавьте его в среду разработки.

Настройка Gradle

repositories {
    mavenLocal() // После локальной публикации llama.jar
}

dependencies { // Для разработки на Fabric modImplementation "com.popr4x.llamajar:llamajar-fabric-1.20.1:alpha-1.0"

// Для разработки на Forge implementation "com.popr4x.llamajar:llamajar-forge-1.20.1:alpha-1.0" }

### Доступ к контексту llama.cpp в Java
```java
import com.llamajar.LlamaJar;
import de.kherud.llama.LlamaModel;
import de.kherud.llama.LlamaIterator;

// Проверяем, загружена ли сейчас модель
if (LlamaJar.isModelLoaded()) {
    LlamaModel model = LlamaJar.getModel();
    // Выполняйте собственные инференсы, регистрируйте свои слушатели или управляйте состоянием модели
}

Лицензия

Этот проект распространяется под лицензией AGPLv3 License. Под капотом он использует llama.cpp и Java JNI-биндинги из de.kherud:llama под лицензией Apache-2.0.