Moraine v0.5 додає підтримку QuarkStar для сервера LLM на BC-250
Moraine v0.5, безголовий дистрибутив на базі Alpine Linux для AMD BC-250, оновлює базові пакети і додає початкову підтримку QuarkStar.
Вийшла Moraine v0.5. Це мінімалістичний дистрибутив Linux на базі Alpine Linux, який перетворює AMD BC-250 на сервер для мовних моделей без монітора. BC-250 - колишня майнінгова плата з урізаним APU від PlayStation 5 і 16 ГБ швидкої спільної пам’яті. Moraine записується на флешку, плата вантажиться з неї і відповідає на запити через API, сумісний з OpenAI.
Реліз оновлює пакети llama.cpp, Alpine і базову систему, а також поліпшує TUI та веб-інтерфейс. Головна новинка - початкова підтримка QuarkStar, невеликого рушія на C, який запускає дві моделі Qwen: Qwen3.6-35B-A3B і Qwen3.8-27B. Згідно з README, автор отримує близько 90 токенів за секунду на моделі 35B при короткому контексті на платі з 40 CU. Підтримка рання та експериментальна, тому можливі шорсткості.
Щоб спробувати, запишіть образ на флешку, завантажте плату, потім оберіть модель і профіль. QuarkStar вмикається окремо для кожного профілю. У нотатках до релізу не вказано точні вимоги до пам’яті чи підтримку інших моделей.