英伟达官方推理指南：投机解码方案几乎全由华人团队主导
新智元 · wechat · 2026-09-03
英伟达技术博客发布《用投机解码做 AI 模型协同设计》长文，以一张选型表盘点 6 种主流推理加速方案的训练成本与适用场景，罕见地以芯片厂商官方姿态把「模型贴着硬件极限设计」写成规范，入选方案几乎全由华人团队主导。
文中拆解了投机解码的加速比公式（Speedup = L×Ttarget/(Tdraft+Tverify)），并梳理技术演进主线：
- 外置草稿模型：从头训练需 1T-10T token，英伟达为其安排的归宿是 200 亿美元收购的 Groq LPU；
- EAGLE-3：北大与滑铁卢团队三年连发三代，曾被挤到「参考位」，接受长度已被后浪超越；
- MTP（多 Token 预测）：Meta 首创、DeepSeek-V3 锤成标配，被英伟达评为 GPU 上大模型的最佳选择；
- DFlash：借鉴扩散模型一次前向并行生成 7 个 Token 预测，实现 6 倍无损加速；
- DSpark：DeepSeek 与北大 24 人混编团队在并行底座外挂轻量串行模块，接受长度比 EAGLE-3 高近 30%、比 DFlash 高 18%，在 DeepSeek-V4 线上生产环境比 MTP 快 60%-85%。
文章核心结论是硬件常数反向锁死模型架构：由 GPU Tile Size（128）推导出 D=128/G−1，注意力分组数 G 直接决定草稿长度（G=8 猜 15 个、G=32 猜 3 个）。推理效率竞赛的重心已从堆参数转向吃透硅片物理极限。
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21