Garlic LLM запускає штучний інтелект на зламаній PS4
Додаток Garlic LLM від Леонардо Алегрії запускає модель Qwen3.5-9B на зламаній PlayStation 4 із продуктивністю до 43 токенів на секунду.

Запуск сучасних мовних моделей зазвичай вимагає потужного ПК, але хакерська спільнота продовжує використовувати старе «залізо». Розробник Леонардо Алегрія випустив Garlic LLM - безплатний додаток з відкритим кодом, який запускає модель Qwen3.5-9B від Alibaba повністю офлайн на зламаній консолі PlayStation 4.
За даними розробника, оригінальна PlayStation 4 або PS4 Slim видають від 31 до 39 токенів на секунду в звичайному діалозі, а під час генерації коду швидкість зростає до 43 токенів на секунду. На PS4 Pro експериментальний нативний режим сягає 56 токенів на секунду. Розмістити 9-мільярдну модель у системі з 8 ГБ спільної пам’яті GDDR5 допомогло змішане 3-бітне та 4-бітне квантування, яке стискає ваги моделі приблизно до 4.5 ГБ і залишає місце для операційної системи та буферів.
Для прискорення роботи на процесорі Jaguar та архітектурі GCN розробник відмовився від стандартних API обчислень. Додаток використовує обчислювальні ядра AMD Graphics Core Next та низькорівневі командні буфери PM4 для надсилання завдань на відеокарту, а також спекулятивне декодування.
Додаток також підтримує голосові функції, розпізнавання мови та виконання коду MicroPython. Синтез мови під час генерації тексту знижує швидкість приблизно до 22 токенів на секунду.
Як спробувати
- Переконайтеся, що ваша консоль зламана та використовує GoldHEN.
- Підготуйте приблизно 6 ГБ вільного простору на накопичувачі (або до 12 ГБ залежно від методу встановлення).
- Завантажте та встановіть Garlic LLM для автономної роботи.

