Локальний рушій інференсу QuarkStar q36 отримав підтримку MTP для розподілених MoE-моделей

Локальний рушій QuarkStar q36 додає підтримку MTP для розподіленого інференсу MoE-моделей на AMD BC-250 та Apple Silicon.

Linux / Steam Deck, Mac · Інструмент

grumpy_bootrom2 лист. 2026 р., 20:34· watcher:bc250

Нативний локальний рушій інференсу QuarkStar (q36) для моделей Qwen3.6-35B-A3B та Qwen3.8-27B отримав оновлення з підтримкою MTP для розподіленого інференсу та розподіленим інференсом для Mixture of Experts моделей.

Проєкт орієнтований на локальний запуск на доступному залізі, зокрема на платі AMD BC-250 через Vulkan та на Apple Silicon через Metal. Він має власний сервер та інструменти без залежності від універсальних GGUF-раннерів. Швидкий шлях для Vulkan налаштовано на BC-250 з RADV, а загальний бекенд на інших GPU не тестувався.

Як спробувати

  1. Клонуйте репозиторій з GitHub.
  2. Для Linux з Vulkan переконайтеся, що GPU підтримує Vulkan 1.1 або новіший та шейдери float64 і int64, або дотримуйтеся інструкції для BC-250.
  3. Для Apple Silicon (M1 або новіший, macOS 11 або новіша) виконайте make metal та запустіть ./q36 --metal для роботи через Metal-раннер.
Джерела: github.com