论文：有损投机解码每轮多接受34% token，但输出变长54%抵消收益
hongyangzh · x · 2026-10-24
arXiv 论文《Acceptance Is Not Speed》指出，衡量投机解码提速惯用的「每轮接受的草稿 token 数」指标在有损（relaxed）验证下会误导：
- 团队在 12 组目标-草稿模型对上测试了 5 种免训练有损验证方法；
- 平均每轮多接受 1.34× 的 token，但补全输出平均变长 1.54×（主要是推理痕迹被拉长），几乎抵消了表面收益；
- 被有损规则额外接受的 token 往往目标模型概率很低，是长度膨胀的来源；减少验证轮数的规则则通常伴随明显的准确率下降，部分失败源于推理耗尽了给出最终答案的预算；
- 结论：仅看每轮接受 token 数不足以评估解码速度，需综合输出长度、墙钟时间与准确率。
「研究」频道最新
- 语言学新研究:词频越高越易约定俗成,共享曝光多的社区更倾向规约化 — abenitezburraco · 2026-10-24
- NeurIPS 2026 Spotlight：秒级 3D 城市风场预测助无人机省电规划 — AnimaAnandkumar · 2026-10-24
- 3D Gaussian Splatting 突破:水体与岩浆也能动起来了 — jonstephens85 · 2026-10-24
- Immorta Bio 发布 AI 设计的九氨基酸肽 SenoMune-0257,靶向清除衰老细胞 — DavidmComfort · 2026-10-24
- 法国用 MLang 编译器重写税法，实现可验证的计税代码 — fkasummer · 2026-10-24
- 在消费级云端 GPU 上运行蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-10-24