Apple M4 实测「层内投机解码」:猜 token 太难,反慢 14%
azterizm · reddit · 2026-11-17
作者尝试一种投机解码变体:让第二个「猜测 token」搭上每层权重读取的顺风车,理论上几乎零额外成本。在 MacBook Air M4 上用 MLX 测试 Qwen3 0.6B/1.7B/4B:
- 搭车可行:每层多跑一个 token 仅增加 2-11% 时间。
- 猜测失败:用前几层输出猜下一 token 正确率仅约 1/3,且几乎全是逗号和 the/and 这类小词;仿 EAGLE 训练的 guess head 也无改进(28.9% vs 29.4%)。
- 净效果为负:每次约多产出 1.2 token,但 Python/GPU 协调开销更高,4B 模型整体比原版 mlx-lm 慢约 14%。作者估算即使猜对率到 60% 也只能提速约 18%。
- 笔记本上最实际的提速:llama.cpp + DFlash2 draft model,比原版快 22%,代码场景快 31%。
代码、计划与全部数据已开源在 azterizm/layer-hot-decoding。
「Infra」频道最新
- 投资人预判:英伟达财报若偏好,AI 交易反遭殃 — pdamodaran · 2026-11-17
- TensorFold:本地跑开源模型的推理引擎,实测 874 tok/s — AIFlow_ML · 2026-11-17
- AMD 高管访谈:数十亿 AI Agent 将持续推高 CPU 需求 — firstadopter · 2026-11-17
- 用户炮轰 Nvidia:嘴上推本地 AI,128GB 显存标准十年不变 — AIFlow_ML · 2026-11-17
- 美商务部与司法部联合声明:对 AI 算力公司 Megaspeed 展开调查 — ShakeelHashim · 2026-11-17
- Cloudflare 开源无 Chromium 的 agent 浏览器引擎 Kitesurf — shoumikgoswami · 2026-11-17