投机解码科普:猜错率 30% 也不改输出,一个减法保证答案不变
anbarth · x · 2026-10-26
AWS 的 Antje Barth 用一篇带代码的 GitHub 文章讲透投机解码(speculative decoding)的核心保证:为什么一个很差的 guesser 也无法改变大模型的输出。
- 机制:小模型猜测后续 token,大模型一次校验。即便 30% 的猜测被丢弃,输出仍与大模型完全一致——只有速度差异。
- 数学关键:源自 Leviathan、Kalman 和 Matias 2022 年的规则。设 guesser 分布为 q、目标模型分布为 p,按 min(1, p/q) 的概率接受猜出的 token,否则从 p−q 的差值分布中重采样,这一步减法保证了任意 guesser 下输出都等于目标模型的分布。
- 现状:vLLM 文档(2026-10-23 更新)在有损的 FLy Verification 之外保留了标准严格校验器;SGLang 则暴露阈值,允许更激进地接受以换取速度。
配图以 50/30/20 与 20/30/50 的示例模型直观演示了丢弃 30% 猜测但答案改变数为 0。
所属事件:AWS 科普投机解码：差猜测器也不改变模型输出(2 条相关)→
「Infra」频道最新
- Anthropic 日均合并代码从 2500 暴增至 3 万,自研 Scion 五个月替换 git — bibryam · 2026-10-26
- NVIDIA 演示 RTX Spark 支持机器人仿真后空翻落地现实 — Aiden_Tech_Ai · 2026-10-26
- MiniMax H3 社区狂飙:8 步参考控制、4 步蒸馏、跑上苹果芯片 — Hailuo_AI · 2026-10-26
- 曝 SPCX 收购云算力平台 Modal,细节尚未证实 — arthurcolle · 2026-10-26
- 猜年代挑战:多模梯度折射玻璃波导光学背板曾做到 0.1dB/cm — jwt0625 · 2026-10-26
- Stanford 与 Berkeley 发布 TokenGate：长上下文预填充最高提速 11.3 倍 — MundanePercentage674 · 2026-10-26