投机解码数学拆解：接受率 α=1−TV(p,q),K 越大未必越快
techNmak · x · 2026-11-04
techNmak 系统讲解投机解码(Speculative Decoding)背后的数学：
- 正确性：小 draft 模型 q 顺序生成 K 个候选 token,大目标模型 p 一次前向并行验证。接受概率 a(x)=min(1, p(x)/q(x));被拒时从 p−q 的归一化正部采样修正。接受部分贡献 min(p,q),修正部分贡献 max(p−q,0),两者相加恰为 p,故输出严格保持目标模型分布。
- 接受率：单个 token 的期望接受率 α=Σmin(p,q)=1−TV(p,q),即等于目标与 draft 分布的总变差距离的补；draft 自身置信度不代表接受率高低。
- 期望产出：K=3、接受率恒为 0.7 时，每轮期望产出 1+0.7+0.7²+0.7³≈2.53 个 token。
- 工程权衡：draft 有计算成本、验证有开销、长 draft 边际收益递减，KV-cache、batch size、硬件特性都影响结果——K 选大了可能单轮产出更多但整体反而更慢。核心结论：数学上可精确保持目标分布，但实际加速取决于 draft 与目标的一致度和验证成本。
「研究」频道最新
- DeepMind 研究员哈佛开讲：语言共现统计如何催生大模型表征几何 — yasamanbb · 2026-11-04
- Allen AI 新基准：面向状态跟踪任务的长上下文评测 — lambdaviking · 2026-11-04
- OOD 不确定性量化研究获 EMNLP UncertaiNLP 现场 Spotlight 奖 — PMinervini · 2026-11-04
- Meta 与 Duke 论文：奖励黑客可在多智能体间传播，Claude 与 Gemini 中招超七成 — rohanpaul_ai · 2026-11-04
- UT奥斯汀教授免费电子书新增Transformers章节，从零手搓并训练 — GeostatsGuy · 2026-11-04
- Intology 推出 Locus:自动化科研系统让 AI 模型自主适配专有数据 — anshulkundaje · 2026-11-04