拒绝采样与残差采样保证输出分布不变

投机解码系列第五、六部分讲解验证机制：对草稿分布 q 采出的 token x，以概率 a(x) = min(1, p(x)/q(x)) 接受，当 p(x) ≥ q(x) 时必然接受。被拒绝后则从残差分布采样：定义 r(x) ∝ max(0, p(x) − q(x))，将接受草稿 token 的概率贡献与残差结合。作者称这一步为「最巧妙」的设计，它在数学上保证最终输出分布与目标模型完全一致，是投机解码无损加速的关键。

2026-10-22 ~ 2026-10-22 · 2 条相关