DeepMind 发布新书，系统解读 TPU 上 LLM 扩展与性能优化
TheZachMueller · x · 2026-08-24
Google DeepMind 团队发布了名为《How To Scale Your Model》的新书（在线阅读），旨在揭秘大规模语言模型扩展的科学。本书从系统视角出发，详细讲解了 TPU（及 GPU）的工作原理、硬件间通信机制以及 LLM 在真实硬件上的运行方式。
核心内容包括：
- 性能评估：如何判断模型各部分距离理论最优的差距，使用 Roofline 模型进行分析。
- 并行策略：在不同规模下（单卡到数万卡）如何选择数据并行、张量并行或流水线并行方案。
- 成本估算：预估训练和部署大模型所需的显存、时间和经济成本。
- 算法与硬件协同：如何利用特定硬件特性设计算法，以及针对算法瓶颈设计硬件。
本书假设读者具备 LLM 和 Transformer 架构的基础知识，适合希望深入理解底层优化和扩展机制的工程师阅读。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15