Google DeepMind 长文拆解 Transformer 推理:从采样到多芯片扩展
zainhas · x · 2026-09-13
Google DeepMind 团队(Jacob Austin、Sholto Douglas、Roy Frostig 等)发布《How To Scale Your Model》系列第 7 部分,系统讲解 Transformer 推理。
- 指出推理与训练的关键差异:推理新增了延迟这一维度,研究代码库中的推理路径常有大量可优化空间
- 从最朴素的逐步采样(每步重算整个前缀,Θ(n²) 复杂度)讲起
- 逐步推进到 KV cache、生成循环实现,以及如何将大模型高效扩展到多片加速器上组成推理引擎
对关心推理优化与推理服务栈的工程师是一篇难得的系统性入门材料。
「Infra」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层，宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31