【CNMO 科技消息】索尼 PlayStation 5 的 16GB GDDR6 内存和 448GB/s 带宽，对运行本地 AI 模型来说算是一份尚可的规格。有人真的把这一设想变成了现实，虽然过程中伴随了不少妥协。诀窍在于把原本由 CPU 承担的工作转移到 GPU 上，由此腾出了足够的内存，最终成功运行了 270 亿参数的 Qwen3.8-27B。
这一项目名为 "PS5LM"。起步阶段，Reddit 用户 u/metover 推出了一个非官方的 llama.cpp 移植版本，让 PlayStation 5 能够以 CPU 作为载荷来运行 AI 模型。但另一位用户 u/AdIllustrious7246 发现，这种做法把可用内存严重压缩到只有 6GB，也就没有帧缓冲留给更大的 AI 模型。于是，他借助 Mesa 的开源 AMD 驱动 RADV，通过 Vulkan 把 llama.cpp 做成了 PlayStation 5 的原生应用，可用内存从 6GB 提升到 11.4GB，这才有了运行大幅量化版 Qwen3.8-27B 的空间。
如果以 16 位精度运行，Qwen3.8-27B 需要 54GB 内存，只有在配备多块 GPU，或者单块 GPU 搭配大容量系统内存的机器上才可能实现。PlayStation 5 显然不具备这类条件，因此只能采用量化版本 Qwen3.8-27B-UD-IQ2_XXS，其权重约每个 2 比特，体积被压缩到 6.8GB。这样做的代价也很直接：量化程度越高，模型质量损失越明显，Qwen3.8-27B 会更容易出错，推理能力也有所削弱。在上下文窗口设为 64K 的情况下，内存占用率达到 91%。
速度表现则与内存带宽直接相关。得益于此，Qwen3.8-27B 的输出速度达到 20.9 tok/s，此时 GPU 占用 100%，CPU 只有 2%。换成更小的模型，成绩会更亮眼：Gemma 4 E4B 达到 61 tok/s，Llama 3.2 3B 则冲到 124 tok/s。整机总功耗为 86W，温度保持在 54 摄氏度，对于一台本来只用来打游戏的游戏机来说，这已经是相当不错的散热表现。
不过，这套方案的局限也很明确。16GB 内存意味着只能运行大幅量化的 27B 模型，或者明显更小的模型，实际输出质量未必能达到预期。另外，要在 PlayStation 5 上运行原生的 llama.cpp 需要先越狱，这不仅会让保修失效，还可能招致线上游戏的封禁。
顺带一提，如果觉得这件事已经足够惊人，还有消息称，另有人用包括三星 S24+ 在内的六台设备，运行了一个 120B 规模的 AI 模型。
版权所有，未经许可不得转载
