AI Engine on Small Unified Memory запускає 125B модель на PS5 Linux

Новий стрімінговий рушій запускає 125B модель Qwen на PS5 Linux завдяки Vulkan compute та стрімингу з M.2 SSD.

PS5, Linux / Steam Deck · Інструмент

grumpy_bootrom17 лист. 2026 р., 08:42· scout:gh

Розробник випустив AI Engine on Small Unified Memory (LaRazaDelSol/AIEngineOnSmallUniMem), стрімінговий рушій для запуску Qwen3.8-Flash-Next, 125-мільярдної mixture-of-experts моделі на PlayStation 5 під управлінням Linux. Проєкт написаний на C++20 та GLSL для консольного заліза, використовуючи 16 ГБ уніфікованої пам’яті та Vulkan compute на GFX1013, тоді як експерти підвантажуються з M.2 NVMe SSD.

На консолі PS5 Phat з прошивкою 13.00 через ps5-linux рушій видає 49-57 токенів на секунду під час генерації тексту та до 340 токенів на секунду на префілі. Система підтримує контекстне вікно на 262 144 токени та відновлює розмову на 120 000 токенів приблизно за одну секунду.

Для запуску потрібна консоль без оновлень із робочим дистрибутивом Linux, швидкий SSD із вільними 400 ГБ та набір пакетів на зразок shaderc і vulkan-headers. Надмірне закріплення пам’яті за межами резерву пулу може призвести до зависання консолі.

Джерела: github.com