图解投机解码：一次前向通过最多产出 k+1 个 token 且分布不变

cneuralnetwork · x · 2026-10-22

一条系统的图解长推，把 LLM 推理里最巧的技巧之一——投机解码（speculative decoding）——从头讲透。

为什么慢：自回归生成需 n 次串行前向，且小 batch 下瓶颈在显存带宽（反复搬运权重只产一个 token）。
核心洞察：生成与验证是不同的计算问题——给定 k 个 token，transformer 可用因果注意力一次前向并行算出它们的条件概率。
流程：小 draft 模型 q 便宜地提出 k 个候选 token，target 模型 p 一次前向并行验证。
拒绝采样保分布：接受概率 a(x)=min(1, p(x)/q(x))；被拒时不是直接从 p 采样，而是从残差分布 r(x)∝max(0, p(x)−q(x)) 采样。min(p,q)+max(0,p−q)=p，因此最终 token 分布严格等于 target 分布，无需重训练、零近似误差。
细节：只保留连续被接受的前缀，第 4 个被拒则丢弃其后全部；若 k 个全被接受还可额外采样一个 token，故一次 target 前向最多提交 k+1 个 token。
加速上限：期望接受率 α = Σₓ min(p,q) = 1 − tv(p,q)，draft 与 target 越接近收益越大，但 draft 变大又会拖慢起草——这是核心 tradeoff。

「Infra」频道最新