Google DeepMind 免费开源《How To Scale Your Model》系统教材
mdancho84 · x · 2026-11-05
数据科学家 Matt Dancho 推荐了 Google DeepMind 团队撰写的免费在线教材《How To Scale Your Model》，从系统视角拆解 LLM 在 TPU/GPU 上的训练与推理。
- 作者阵容：Jacob Austin、Sholto Douglas、Roy Frostig 等 Google DeepMind 研究员，2025 年 2 月发布
- 内容：TPU/GPU 工作原理与互联方式、LLM 在真实硬件上的运行、训练与推理的并行策略、Roofline 分析等
- 能回答的问题：训练一个 LLM 该花多少钱、自己部署需要多少显存、AllGather 是什么、并行方案如何选型
- 前置要求：了解 LLM 与 Transformer 基础，最好熟悉 JAX
帖子还附带 Part 12「How To Think About GPUs」图解：SM、Tensor Core、Warp Scheduler、L1/L2 Cache 与 HBM 的层级结构及 H100/B100 的具体容量参数。
所属事件:Google DeepMind 免费开放大模型扩展系统教材(2 条相关)→
「Infra」频道最新
- 纯 Rust 推理引擎 RustingStrata:12GB 显卡跑 Qwen 速度翻倍 — Serious_Scarcity7818 · 2026-11-05
- 核聚变创企一再推迟交付时间,硅谷宠儿 Helion 遭舆论批评 — skdh · 2026-11-05
- Together Compiler 以最多 2 节点 24 小时刷新推理吞吐纪录 — simran_s_arora · 2026-11-05
- Together Compiler 背后:从 Megakernels 到 agent 驱动编译的演进史 — simran_s_arora · 2026-11-05
- Together Compiler 三大设计:持久引擎+并行成本模型破解吞吐保真两难 — simran_s_arora · 2026-11-05
- Together 提出「多态推理」:流量每秒在变,静态优化已过时 — simran_s_arora · 2026-11-05