Локальний рушій інференсу QuarkStar q36 отримав підтримку MTP для розподілених MoE-моделей
Локальний рушій QuarkStar q36 додає підтримку MTP для розподіленого інференсу MoE-моделей на AMD BC-250 та Apple Silicon.
Нативний локальний рушій інференсу QuarkStar (q36) для моделей Qwen3.6-35B-A3B та Qwen3.8-27B отримав оновлення з підтримкою MTP для розподіленого інференсу та розподіленим інференсом для Mixture of Experts моделей.
Проєкт орієнтований на локальний запуск на доступному залізі, зокрема на платі AMD BC-250 через Vulkan та на Apple Silicon через Metal. Він має власний сервер та інструменти без залежності від універсальних GGUF-раннерів. Швидкий шлях для Vulkan налаштовано на BC-250 з RADV, а загальний бекенд на інших GPU не тестувався.
Як спробувати
- Клонуйте репозиторій з GitHub.
- Для Linux з Vulkan переконайтеся, що GPU підтримує Vulkan 1.1 або новіший та шейдери float64 і int64, або дотримуйтеся інструкції для BC-250.
- Для Apple Silicon (M1 або новіший, macOS 11 або новіша) виконайте
make metalта запустіть./q36 --metalдля роботи через Metal-раннер.