Google DeepMind 免费放出 LLM 扩展教程《How to Scale Your Model》并新增 GPU 章节
mdancho84 · x · 2026-09-26
Google DeepMind 团队（Jacob Austin、Sholto Douglas、Roy Frostig 等）撰写的免费在线书《How to Scale Your Model》系统讲解 LLM 在 TPU/GPU 上的扩展原理，最新更新到第 12 部分「How to Think About GPUs」。
全书内容包括：
- 硬件基础：Roofline 模型、TPU/GPU 如何工作与互联通信
- LLM 在真实硬件上的运行原理
- 训练与推理时的并行策略（如何切分计算到多设备）
- 实用估算：训练一个 LLM 要多少钱、自部署模型需要多少显存、AllGather 等集合通信概念
作者目标是用相对简单的原理解开「LLM 扩展像炼金术」的迷思，帮助读者判断模型距离理论最优多远、设计算法与硬件。适合了解 Transformer 与 LLM 训练基础、最好略懂 JAX 的读者。原帖作者同时附上了完整指南入口。
所属事件:DeepMind 免费开放《How to Scale Your Model》并新增 GPU 章节(2 条相关)→
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11
- Anthropic 称用 AI 3 天完成 AMD GPU 移植,动摇 Nvidia CUDA 护城河 — The Decoder · 2026-11-11