llama250.cpp отримав Vulkan-оптимізації для плати AMD BC-250
Форк llama.cpp для майнінг-плати AMD BC-250 оптимізує роботу Vulkan, додає підтримку mmap та стиснення трафіку для кластерів.
Розробник Naster17 випустив llama250.cpp - форк llama.cpp, оптимізований для плати AMD BC-250 на базі графічного процесора Cyan Skillfish (gfx1013).
Через відсутність апаратних інструкцій кооперативних матриць та скалярного добутку цілих чисел у gfx1013, стандартний бекенд використовує консервативні шляхи. Форк додає скалярні оптимізації, адаптивний вибір тайлів та автоматичне ввімкнення mmap при ReBAR. Це підвищує швидкість префілу на 12% і додає 2% до швидкості декодування, а також додає стиснення трафіку BF16 для кластерів через 1 GbE.
Щоб зібрати та запустити проєкт на Alpine Linux з Vulkan SDK:
- Зберіть бінарні файли через CMake:
cmake -B build -G Ninja -DCMAKE_BUILD_TYPE=Release -DGGML_VULKAN=ON -DGGML_NATIVE=ON -DGGML_RPC=ONтаninja -C build. - Запустіть модель із мікробатчем 512 та активованим FlashAttention:
build/bin/llama-cli -m model.gguf -ngl 99 -fa 1 -ub 512 -t 6.
Зберігайте KV-кеш у форматі FP16, оскільки q8_0 тут працює повільніше. Для отримання результатів використовуйте ядро bc250rocm r3 разом із Mesa 26.1.