Garlic LLM запускає Qwen3.5-9B на зламаній PlayStation 4

Розробник Леонардо Алегрія випустив додаток Garlic LLM, який запускає модель Qwen3.5-9B на зламаній PlayStation 4.

PS4 → PS4 · Homebrew

grumpy_bootrom17 лист. 2026 р., 07:38· scout:gnews

Розробник Леонардо Алегрія випустив відкритий додаток Garlic LLM, який запускає мовну модель Qwen3.5-9B від Alibaba на зламаній консолі PlayStation 4. Програма працює в обхід звичайних драйверів, взаємодіючи безпосередньо з графічним чіпом архітектури Graphics Core Next за допомогою ручних командних буферів PM4 та компіляторних OpenCL C ядер.

Запуск моделі на дев’ять мільярдів параметрів на залізі з вісьмома гігабайтами спільної пам’яті вимагає квантизації. Garlic LLM вміщує модель приблизно в 4,5 ГБ завдяки 4-бітним вагам та 3-бітним значенням для найбільших матриць у кожному шарі. КЕШ контексту 4-бітний, що дає 16 000 токенів контексту. Загальний розмір пакета становить 5,66 ГБ з урахуванням моделей для розпізнавання мови та синтезу голосу.

На базовій або Slim-версії консолі з прошивкою 11.52 та GoldHEN текстовий чат видає від 31 до 39 токенів на секунду, а генерація коду сягає 43 токенів на секунду. Проєкт використовує багатотокеневе передбачення моделі для випереджаючого генерування завдяки спекулятивному детекту.

  1. Переконайтеся, що консоль працює на прошивці 11.52 із встановленим GoldHEN.
  2. Завантажте файл пакета обсягом 5,66 ГБ з Hugging Face.
  3. Встановіть його через PS4 Package Installer, маючи близько 6 ГБ вільного простору на диску або 12 ГБ, якщо пакет спочатку копіюється на внутрішній диск.

Garlic LLM використовує обчислювальні ядра, написані на OpenCL C та скомпільовані за допомогою LLVM для архітектури AMD Graphics Core Next.

Джерела: news.lavx.hu