Google 生产环境用的推测解码:让 LLM 推理提速 2-3 倍
hongyangzh · x · 2026-09-13
一篇技术长文详解推测解码(speculative decoding)——Google 在 Search 的 AI Overviews、Anthropic 和 Meta 都在使用的推理加速技术,可将 LLM 推理提速 2-3 倍。
核心原理:
- 自回归解码下,目标模型每次前向传播只产出一个 token,低 batch size 时过程受内存带宽限制,GPU 大量算力闲置
- 用一个更便宜的 draft 模型一次提议多个未来 token,目标模型只需一次前向传播即可整块验证(类似 prefill)
- 若 drafter 提议 5 个 token 全部通过验证,还可从同一验证轮次额外获得 1 个奖励 token;若第 4 个 token 出错,前 3 个仍被保留
文章覆盖了内部机制、代码实现与 tradeoff,并讨论了正在取代双模型方案的新方法。
「Infra」频道最新
- Intel 单日暴跌 29%，股价跌破 2000 年互联网泡沫峰值 — mitchdeg · 2026-10-31
- Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s — viveky259 · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31
- a16z 数据：GPU 租金三个月涨 106%，token 价格反跌 58% — a16z · 2026-10-31
- vLLM nightly 支持 PLE 磁盘卸载,PR 标签现「Qwen4Exp」引 Qwen4 猜想 — rmhubbert · 2026-10-31