Qwen3.5-9B 跑上原版 PS4：MTP 投机解码提速到 39 tok/s
leonardo_alegria · reddit · 2026-11-14
开发者 leonardoalegria 的开源项目 garlic-llm 让 Qwen3.5-9B 在原版 PS4 的 GPU 上离线运行，速度达 31–39 tok/s，可对话、听语音、写代码，全程无需云端、订阅或装 Linux。
关键技巧：
- 利用 Qwen3.5 自带的 MTP head 做投机解码：一次起草最多两个 token，主模型一遍校验，速度从 22 tok/s 提升到 31–39 tok/s；
- 权重重打包为自定义 4-bit 和 3-bit 格式，将约 4.5 GiB 权重塞进 PS4 的显存。
代码在 GitHub 开源，模型权重可在 Hugging Face 下载。
「Infra」频道最新
- 开源 TTS 模型 Tontaube V1.1 发布:4-bit 版桌面 CPU 即可近实时运行 — EAVDR · 2026-11-14
- MiniMax H3 Image 上线 TensorScale:号称比 fal 快 2.3 倍、便宜 5 倍 — TerryTangYuan · 2026-11-14
- 李博杰开源《深入理解 AI Infra》:从硬件极限推导大模型训练与推理设计 — udmrzn · 2026-11-14
- Prime Intellect 一周冲入第三方推理服务商前十，周 token 量 2.22T — Ronangmi · 2026-11-14
- LMSYS 牵头成立 SGLang 联盟,NVIDIA、AMD、Google、Meta 等八家创始成员加入 — NVIDIAAI · 2026-11-14
- 美国41项数据中心公投40项被否，英国却由中央强推 — thealexbanks · 2026-11-14