推文科普投机解码：不改权重、保持采样分布的加速之美

cneuralnetwork · x · 2026-10-22

这篇推文串讲解了投机解码（speculative decoding）的妙处：它并不让目标模型变聪明、也不改权重，而是利用串行生成与并行验证之间的差异来加速推理。加速取决于草稿模型质量、接受率、KV cache 管理、batch size 和验证开销。核心公式：某个前缀下的期望接受概率 α = Σₓ min(p(x), q(x)) = 1 − TV(p, q)，即草稿分布与目标分布的总变差距离越小，接受的前缀越长，每次验证通过的 token 越多。在完全保持原采样分布的前提下实现更快推理，是一项漂亮的系统层优化。