工程师整理推测解码手册:α=0.8 也可能只有 1.87× 加速
techNmak · x · 2026-10-03
techNmak 发布了一份关于推测解码（speculative decoding）的系统性手册，从自回归生成是串行的讲起，解释便宜的小模型（proposer）起草多个 token、由目标模型并行验证的原理。
手册覆盖的关键点：
- 贪心验证与精确的 speculative sampling（min(1, p/q) 接受规则）、残差修正
- 接受率、每次验证的期望 token 数、草稿长度与延迟的权衡
- KV-cache 的提交与回滚、tokenizer 兼容性
- 自推测、Medusa、SpecInfer、EAGLE、MTP、prompt lookup、动态推测以及当前推理服务实现
作者特别强调一个常见误区：接受率不等于加速比。他用一个简单例子说明：α=0.8、γ=4 时每次目标验证期望产出 3.3616 个 token，但当草稿成本从目标单步的 0.05 升到 0.20 时，预测加速比会从约 2.80× 降到 1.87×。全篇附算例并引用原始论文。
所属事件:工程师发布推测解码原理手册：并行起草与接受规则详解(2 条相关)→
「Infra」频道最新
- Suhail 宣布 Vera Rubin 时代开启,NVIDIA 新一代 GPU 上线 — rickasaurus · 2026-10-03
- GPU 抵押贷款兴起，算力定价透明度成借贷核心争议 — AnneliesGamble · 2026-10-03
- 谷歌被指在芬兰砍伐3亿平方米森林建AI数据中心 — Polymarket · 2026-10-03
- SkyRL v0.4 发布：16 张 B300 即可对 1T 参数 Kimi K2.7 做 RL 后训练 — casper_hansen_ · 2026-10-03
- 国际清算银行报告:AI 公司超半数投资来自同行,循环融资藏系统性风险 — rohanpaul_ai · 2026-10-03
- 分析师预判：内存价格明年或涨 10 到 20 倍，2028 再翻番 — Kyrannio · 2026-10-03