N3komata: SSD-орієнтований рушій інференсу для AMD BC-250
Вийшов автономний реліз рушія N3komata для запуску великих Mixture-of-Experts моделей на платі AMD BC-250.
Розробник nyacom випустив N3komata - SSD-орієнтований рушій інференсу для плати AMD BC-250 на базі обрізаного APU PlayStation 5. Проєкт призначений для запуску великих Mixture-of-Experts моделей на системі з 16 GiB об’єднаної пам’яті через кешування у Vulkan та mmap-файли.
Рушій базується на llama.cpp та зберігає ваги у GGUF-файлах на накопичувачі, завантажуючи робочий набір експертів у межах кешу. Через обмеження шини SSD на цій платформі N3komata використовує динамічний вибір кількості експертів, щоб зменшити обсяг читання з SSD, і пакетне завантаження.
Автономний реліз містить профіль із налаштуваннями маршрутизації та попереднього завантаження. Проєкт сам називає себе експериментальним: модель на 70 GiB у 16 GiB не розміщується повністю, а холодні промахи кешу чекають на SSD. Хоча це не розширює фізичну пам’ять системи, підхід дозволяє запускати моделі, що перевищують доступний об’єм ОЗП.