Оновлення рушія інференсу PreonStar покращує роботу з Vulkan та моделями 27B на AMD BC-250
PreonStar отримав оновлення документації, оптимізацію префілу для Vulkan та вимірювання швидкості для щільних 27B моделей.
Коміт у репозиторії PreonStar, нативного C99-рушія для моделей Qwen для заліза на зразок плати AMD BC-250, оновлює бекенд Vulkan. Документація тепер містить дані щодо сумісності з моделями IsValorum та вимірювань швидкості для щільних 27B моделей.
Зміни додають короткопакетний префіл, фіксовані рядки MTP та увагу під час декодування в умовах довгого контексту для Vulkan. Рушій працює без Python у гарячому шляху та важких фреймворків, використовуючи збірку через make.
Як оновитися та запустити збірку на Linux:
- Встановіть залежності
build-essential,glslang-toolsтаlibvulkan-dev. - Зклонуйте репозиторій та виконайте
make -j"$(nproc)"для компіляції бінарників. - Завантажте модель скриптом
./download_model.sh q2-imatrixта запустіть виконання через./p36.