Con la aplicación gratuita Garlic LLM, una PS4 con jailbreak ejecuta el modelo Qwen3.5 de 9.000 millones de parámetros a 43 tokens por segundo. La consola, lanzada a finales de 2013, lo hace sin conexión.
Según publica MuyComputer, una PS4 con jailbreak ha conseguido ejecutar un modelo de IA de 9.000 millones de parámetros, a un ritmo de 43 tokens por segundo. La consola salió a la venta a finales de 2013, y el jailbreak permite liberarla de las limitaciones del sistema operativo original.
El software responsable es Garlic LLM, una aplicación gratuita y de código abierto que ejecuta el modelo Qwen3.5 de 9.000 millones de parámetros de forma totalmente offline. Para instalarla hacen falta entre 6 GB y 12 GB de espacio libre, según el método elegido.
La PS4 cuenta con una CPU Jaguar, 8 GB de memoria GDDR5 y una GPU Radeon de 1.152 shaders, un hardware modesto para mover un modelo de ese tamaño. El modelo con pesos en FP16 ocuparía unos 18 GB, pero Garlic LLM aplica cuantización mixta de 3 y 4 bits, que reduce su peso a 4,5 GB.
Ese tamaño cabe en los unos 5 GB de memoria libre que quedan tras descontar las aplicaciones y el sistema operativo. Para acelerar el rendimiento, la aplicación usa kernels de computación personalizados para la arquitectura GCN de la consola y búferes de comandos PM4 que envían las cargas de trabajo directamente a la GPU. También emplea descodificación especulativa y predicción multitoken.
El rendimiento depende de la tarea. En generación de texto a voz baja a 22 tokens por segundo, una cifra que el texto considera perfectamente utilizable. Una PS4 Pro alcanza un pico de 56 tokens por segundo.


