Qwen3.8-27B 原生 8 位在 M5 Pro 跑出 37-55 tok/s,破解 4 位量化推理断崖
SnooPredictions515 · reddit · 2026-09-21
作者在 Apple Silicon(M5 Pro,64GB 统一内存)上对 Splash 引擎(Incoai 出品的 C++/Metal 投机解码引擎)做了扩展,实现 Qwen3.8-27B 的原生 8 位推理,综合 37-55 tok/s,无量化精度损失。
关键发现:
- 推理断崖(Reasoning Cliff): 上游 Splash 主打 4 位模型的高速度(约 60 tok/s),但激进 4 位量化在竞赛级数学和多步推导上出现明显能力下降。
- 性能对比: 原生 8 位(Splash-HQ,27GB)在五个标准任务域平均 36.9 tok/s,是 MLX/llama.cpp 自回归基线(9.9 tok/s)的 3.73 倍;数学推理达 54.8 tok/s。对比同样 8 位权重的 MTPLX 快约 39%(数学快 92%),归功于编译型 Metal 后端更低的调度开销。
- 精度-速度悖论: 原生 8 位平均反而比压缩 8 位(Splash-Q8,17GB)略快(36.9 vs 36.5 tok/s)——激进压缩压平了 logits、降低草稿接受率;原生 8 位 logits 更尖锐,验证回滚更少,净吞吐更高。
- 支持 256k 上下文扩展,实测遥测到 190k。
资源: 模型权重、Q8 Metal 运行时 fork 和完整 benchmark JSON 日志均已开源发布(Hugging Face / GitHub)。上游 Splash 1.0 只认 4 位 schema,该 fork 新增 schema 5 加载与编译型 Metal Q8 tiled 解码 kernel,并保持对官方 Q4 模型 100% 向后兼容。
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12