Garlic LLM запускає Qwen3.5-9B на зламаній PlayStation 4
Розробник Леонардо Алегрія випустив додаток Garlic LLM, який запускає модель Qwen3.5-9B на зламаній PlayStation 4.

Розробник Леонардо Алегрія випустив відкритий додаток Garlic LLM, який запускає мовну модель Qwen3.5-9B від Alibaba на зламаній консолі PlayStation 4. Програма працює в обхід звичайних драйверів, взаємодіючи безпосередньо з графічним чіпом архітектури Graphics Core Next за допомогою ручних командних буферів PM4 та компіляторних OpenCL C ядер.
Запуск моделі на дев’ять мільярдів параметрів на залізі з вісьмома гігабайтами спільної пам’яті вимагає квантизації. Garlic LLM вміщує модель приблизно в 4,5 ГБ завдяки 4-бітним вагам та 3-бітним значенням для найбільших матриць у кожному шарі. КЕШ контексту 4-бітний, що дає 16 000 токенів контексту. Загальний розмір пакета становить 5,66 ГБ з урахуванням моделей для розпізнавання мови та синтезу голосу.
На базовій або Slim-версії консолі з прошивкою 11.52 та GoldHEN текстовий чат видає від 31 до 39 токенів на секунду, а генерація коду сягає 43 токенів на секунду. Проєкт використовує багатотокеневе передбачення моделі для випереджаючого генерування завдяки спекулятивному детекту.
- Переконайтеся, що консоль працює на прошивці 11.52 із встановленим GoldHEN.
- Завантажте файл пакета обсягом 5,66 ГБ з Hugging Face.
- Встановіть його через PS4 Package Installer, маючи близько 6 ГБ вільного простору на диску або 12 ГБ, якщо пакет спочатку копіюється на внутрішній диск.
Garlic LLM використовує обчислювальні ядра, написані на OpenCL C та скомпільовані за допомогою LLVM для архітектури AMD Graphics Core Next.

