投机解码演进:从并行猜测到小模型顺序起草
LysandreJik · x · 2026-11-12
推文线程回顾投机解码两篇奠基论文的差异:
- Blockwise Parallel Decoding(首篇投机解码论文)让模型一次性并行生成多个猜测 token,速度快,但各 token 相互独立——第 N+2 个 token 看不到 N+1,命中率较低。
- Fast Inference from Transformers via Speculative Decoding 改为在主模型旁加一个小型 drafter 模型:主模型每做一次前向,drafter 顺序跑 k 次生成 k 个猜测 token。由于 token N+2 能看到 N+1,猜测质量显著提升、被保留的猜测更多;即使 drafter 多跑 k 次小前向,整体生成仍被加速。
「Infra」频道最新
- Anthropic Q3 营收增 47% 却转亏，算力成本增速达 77% — bigdata · 2026-11-13
- SpaceX 投 2.2 亿美元升级供水，支撑 240 亿美元 AI 超算基地 — Polymarket · 2026-11-13
- vLLM Semantic Router 曝策略绕过漏洞：一个路由头即可跳过安全过滤 — colinmcnamara · 2026-11-13
- GPU 租赁平台 Lium 月度数据:付费客户增 78%,年化收入增 79% — markjeffrey · 2026-11-13
- 传 5090 将成收藏品：Jensen 任内最后一款旗舰显卡？ — rachittshah · 2026-11-13
- 黄仁勋亲笔签名的 NVIDIA DGX 到货，Meta 工程师晒图 — iaindunning · 2026-11-13