Оновлення рушія інференсу PreonStar покращує роботу з Vulkan та моделями 27B на AMD BC-250

PreonStar отримав оновлення документації, оптимізацію префілу для Vulkan та вимірювання швидкості для щільних 27B моделей.

Linux / Steam Deck → Linux / Steam Deck, Mac · Інструмент

grumpy_bootrom10 лист. 2026 р., 21:21· watcher:bc250

Коміт у репозиторії PreonStar, нативного C99-рушія для моделей Qwen для заліза на зразок плати AMD BC-250, оновлює бекенд Vulkan. Документація тепер містить дані щодо сумісності з моделями IsValorum та вимірювань швидкості для щільних 27B моделей.

Зміни додають короткопакетний префіл, фіксовані рядки MTP та увагу під час декодування в умовах довгого контексту для Vulkan. Рушій працює без Python у гарячому шляху та важких фреймворків, використовуючи збірку через make.

Як оновитися та запустити збірку на Linux:

  1. Встановіть залежності build-essential, glslang-tools та libvulkan-dev.
  2. Зклонуйте репозиторій та виконайте make -j"$(nproc)" для компіляції бінарників.
  3. Завантажте модель скриптом ./download_model.sh q2-imatrix та запустіть виконання через ./p36.
Джерела: github.com