投机解码系列：接受规则与草稿模型的加速权衡

投机解码系列文章阐述了接受规则与加速权衡：每次验证最多提交 k+1 个 token，只保留连续被接受的前缀，若第 4 个 token 被拒则保留前 3 个并从修正分布采样替代。加速效果方面，某前缀的期望接受率为 α=Σ min(p,q)=1−TV(p,q)，TV 为总变差距离；草稿模型越接近目标模型接受率越高，但草稿越大起草越慢，需要权衡。

2026-10-22 ~ 2026-10-22 · 2 条相关