探秘投机解码的“有损验证”：机制、权衡与失败模式
Tianyu Wang · hf · 2026-07-31
投机解码通过让轻量级草稿模型提出 Token 供大模型并行验证来加速推理。近期的有损验证方案通过放宽严格的分布匹配来进一步提升效率，但这会悄然改变解码分布，导致生成质量不稳定甚至退化。
本文对有损验证方法进行了系统性分析，指出现有方案本质上可分为两类：
- 截断验证：研究发现其存在根本缺陷，由于分布失真，性能可能显著低于真实的截断采样基线。
- 协同验证：揭示了控制草稿概率相对于目标概率的“超调”是防止低质量输出的关键原则。
作者还构建了诊断评估框架，并开源了相关代码。
「Infra」频道最新
- “足够好”的数据代价：现代架构为何在规模化时失败 — craigmullins · 2026-07-31
- 大型科技公司AI支出总额突破1万亿美元 — gaganghotra_ · 2026-07-31
- OpenAI GPT-5.6降价80%，推理成本一年降2000倍 — Latent Space · 2026-07-31
- 单次AI提问与智能体工作流能耗相差十万倍 — AndyMasley · 2026-07-31
- AI 算力交易日益依赖借贷资金，贷款方正重新评估风险定价 — haipothetical · 2026-07-31
- UBS 图表揭示 AI 算力供应链的核心枢纽格局 — BenBajarin · 2026-07-31