Apple M4 实测「层内投机解码」:猜 token 太难,反慢 14%

azterizm · reddit · 2026-11-17

作者尝试一种投机解码变体:让第二个「猜测 token」搭上每层权重读取的顺风车,理论上几乎零额外成本。在 MacBook Air M4 上用 MLX 测试 Qwen3 0.6B/1.7B/4B:

代码、计划与全部数据已开源在 azterizm/layer-hot-decoding。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →