一个减法看懂投机解码：为何反向猜测器也能保持大模型输出

anbarth · x · 2026-10-26

Antje Barth 讲解投机解码（speculative decoding）的数学本质：小模型猜 token、大模型校验，被保留的猜测比例等于两个模型概率分布的交集——完美猜测器保留全部，均匀猜测（在 Qwen3-8B 的 151,936 词表上每个 token 概率相同）则几乎全部丢弃。

关键结论：即使猜测器每个概率都「反向」，仍有约 30% 的猜测被扔掉，但输出与大模型单独生成完全一致——一次减法运算就能证明这一点。原文附逐步推导和可运行代码。