LiquidAI LFM3-1.7B отримав кастомні HIP-ядра та Vulkan llama.cpp на платі AMD BC-250

Репозиторій lfm3-bc250 додає швидкий інференс та LoRA точне настроювання моделей LiquidAI LFM3-1.7B на платі AMD BC-250, яке у 2,1-2,5 раза швидше за стандартний шлях.

Linux / Steam Deck · Інструмент

0xKova4 лист. 2026 р., 02:28· watcher:bc250

Плата AMD BC-250 отримала набір інструментів для локальних LLM. Розробник випустив репозиторій lfm3-bc250, який забезпечує швидкий інференс і LoRA точне настроювання моделі LiquidAI LFM3-1.7B на графічному процесорі gfx1013.

Інференс працює через llama.cpp на бекенді Vulkan і моделі QAD-Q4_0 GGUF. Обробка промптів досягає 3130 токенів на секунду, генерація на один запит дає 229 токенів на секунду, а 32 паралельні запити разом дають 1346 токенів на секунду.

Для тренування репозиторій використовує власні HIP-ядра, PyTorch та ROCm. LoRA тренування працює у 2,1-2,5 раза швидше за стандартний шлях Hugging Face та PEFT, а послідовності на 32 тисячі токенів вміщуються в пам’ять. Частину прискорення дає регулятор частоти GPU, який знижує частоту на 90 °C замість 80 °C, тож цифри залежать від цієї зміни.

  • Прочитайте AGENTS.md у репозиторії, там команди для кожного завдання в потрібному порядку.
  • Запустіть scripts/serve.sh, щоб підняти сервер, сумісний з OpenAI API, на порті 8090.
  • Використовуйте bench_train.py у папці bench/ для запуску бенчмарків тренування.
Джерела: github.com