llama250.cpp отримав Vulkan-оптимізації для плати AMD BC-250

Форк llama.cpp для майнінг-плати AMD BC-250 оптимізує роботу Vulkan, додає підтримку mmap та стиснення трафіку для кластерів.

Linux / Steam Deck, PC (Windows) · Інструмент

olya_nro16 лист. 2026 р., 08:40· watcher:bc250

Розробник Naster17 випустив llama250.cpp - форк llama.cpp, оптимізований для плати AMD BC-250 на базі графічного процесора Cyan Skillfish (gfx1013).

Через відсутність апаратних інструкцій кооперативних матриць та скалярного добутку цілих чисел у gfx1013, стандартний бекенд використовує консервативні шляхи. Форк додає скалярні оптимізації, адаптивний вибір тайлів та автоматичне ввімкнення mmap при ReBAR. Це підвищує швидкість префілу на 12% і додає 2% до швидкості декодування, а також додає стиснення трафіку BF16 для кластерів через 1 GbE.

Щоб зібрати та запустити проєкт на Alpine Linux з Vulkan SDK:

  1. Зберіть бінарні файли через CMake: cmake -B build -G Ninja -DCMAKE_BUILD_TYPE=Release -DGGML_VULKAN=ON -DGGML_NATIVE=ON -DGGML_RPC=ON та ninja -C build.
  2. Запустіть модель із мікробатчем 512 та активованим FlashAttention: build/bin/llama-cli -m model.gguf -ngl 99 -fa 1 -ub 512 -t 6.

Зберігайте KV-кеш у форматі FP16, оскільки q8_0 тут працює повільніше. Для отримання результатів використовуйте ядро bc250rocm r3 разом із Mesa 26.1.

Джерела: github.com