投机解码的形式化证明:为何无质量损失
monkwhosoldsomething · reddit · 2026-07-07
作者阅读投机解码(speculative decoding)的形式化证明后发现,其拒绝采样机制可保证输出分布与目标模型完全一致:草稿质量只影响速度(差草稿被拒绝更多),不改变目标模型输出,因此相比量化没有任何质量损失。他还指出接受率恰好等于 1 减去草稿与目标分布的 TV 距离。作者质疑既然可证明无损,为何本地部署不默认启用,并询问大家实际获得的加速。
monkwhosoldsomething · reddit · 2026-07-07
作者阅读投机解码(speculative decoding)的形式化证明后发现,其拒绝采样机制可保证输出分布与目标模型完全一致:草稿质量只影响速度(差草稿被拒绝更多),不改变目标模型输出,因此相比量化没有任何质量损失。他还指出接受率恰好等于 1 减去草稿与目标分布的 TV 距离。作者质疑既然可证明无损,为何本地部署不默认启用,并询问大家实际获得的加速。