AMD BC-250 отримує локальний ІІ-стек на базі Qwen 3.5
Новий набір скриптів запускає llama.cpp та Qwen 3.5-9B через Vulkan на платі для майнінгу AMD BC-250 під CachyOS.
Розробник nielsek опублікував bc250-llama.cpp, набір скриптів, який збирає й запускає llama.cpp через Vulkan на платі AMD BC-250 (Cyan Skillfish, урізаний APU від PS5). Система працює на CachyOS.
Збірка запускає модель unsloth/Qwen3.5-9B-GGUF:Q6_K без графічного інтерфейсу через llama-server для роботи з opencode. Оскільки BC-250 має 16 ГБ загальної пам’яті GDDR6, скрипти використовують параметр ядра ttm.pages_limit=3145728 із bc250-toolkit, щоб дозволити відеокарті забирати до 12 ГіБ системної пам’яті. Для цього потрібна повністю розблокована плата BC-250 з усіма ядрами ЦП та CU графічного процесора.
Репозиторій містить чотири скрипти:
./build.shвстановлює залежності та збирає llama.cpp../test.shперевіряє виявлення GPU і те, чи модель працює достатньо швидко../run.shзапускає сервер у tmux і вимикає графічну оболонку, щоб звільнити оперативну пам’ять../stop.shзупиняє сервер і повертає робочий стіл.
Модель Qwen 9B вміщується в ліміт 12 ГіБ GPU з контекстом 128K. На цьому залізі вона читає промпти зі швидкістю близько 400 токенів на секунду та генерує близько 40 токенів на секунду.