# LiquidAI LFM3-1.7B отримав кастомні HIP-ядра та Vulkan llama.cpp на платі AMD BC-250

> Репозиторій lfm3-bc250 додає швидкий інференс та LoRA точне настроювання моделей LiquidAI LFM3-1.7B на платі AMD BC-250, яке у 2,1-2,5 раза швидше за стандартний шлях.

- Published: 2026-11-04T00:28:59Z
- Score: 7/10
- Tags: bc250, ai, tool
- Port / platforms: - -> Linux / Steam Deck (Tool)
- Web page: https://emu-radar.customfw.xyz/uk/news/lfm3-bc250-fast-inference-and-lora-training/
- Sources: https://github.com/bilawalriaz/lfm3-bc250/commit/065068f330f373e2f0e09b0a9273a6ded9ffc054

Плата AMD BC-250 отримала набір інструментів для локальних LLM. Розробник випустив репозиторій `lfm3-bc250`, який забезпечує швидкий інференс і LoRA точне настроювання моделі LiquidAI LFM3-1.7B на графічному процесорі gfx1013.

Інференс працює через `llama.cpp` на бекенді Vulkan і моделі QAD-Q4_0 GGUF. Обробка промптів досягає 3130 токенів на секунду, генерація на один запит дає 229 токенів на секунду, а 32 паралельні запити разом дають 1346 токенів на секунду.

Для тренування репозиторій використовує власні HIP-ядра, PyTorch та ROCm. LoRA тренування працює у 2,1-2,5 раза швидше за стандартний шлях Hugging Face та PEFT, а послідовності на 32 тисячі токенів вміщуються в пам'ять. Частину прискорення дає регулятор частоти GPU, який знижує частоту на 90 °C замість 80 °C, тож цифри залежать від цієї зміни.

* Прочитайте AGENTS.md у репозиторії, там команди для кожного завдання в потрібному порядку.
* Запустіть `scripts/serve.sh`, щоб підняти сервер, сумісний з OpenAI API, на порті 8090.
* Використовуйте `bench_train.py` у папці `bench/` для запуску бенчмарків тренування.
