投机解码学习笔记：draft-and-verify 如何无损加速 LLM 推理
helloiamleonie · x · 2026-08-24
Leonie Monigatti 发布投机解码（speculative decoding）学习笔记，系统梳理这一推理加速技术。
- 原理：LLM 自回归生成逐 token 前向传播，延迟随输出长度线性增长，是实时对话与多轮 agent 工作流的瓶颈；投机解码由 DeepMind 与 Google 在 2023 年独立提出，用 draft-then-verify 两段式结构加速。
- 机制：小的 draft 模型/机制先提出 γ 个候选 token，目标大模型一次前向传播并行验证；通过拒绝采样保持目标分布，因此加速且无损质量。
- 覆盖变体：Medusa、EAGLE、DFlash、DSpark 等不同 draft 机制的对比梳理。
「Infra」频道最新
- 建议在阿拉斯加北部建 AI 数据中心，利用废弃天然气 — edgarpavlovsky · 2026-08-24
- 图表揭示 AI Agent 消耗 Token 为人类 5 倍 — BrightLeopard7590 · 2026-08-24
- DeepMind 发布新书，系统解读 TPU 上 LLM 扩展与性能优化 — TheZachMueller · 2026-08-24
- 观点：本地 GPU 应用于训练而非单纯推理 — dh7net · 2026-08-24
- AMD Instinct MI210 显卡部署 Qwen 27B 性价比探讨 — OvertaxedOne · 2026-08-24
- 富国银行：博通 FY28 AI 芯片营收将达 2053 亿美元 — Beth_Kindig · 2026-08-24