Google DeepMind 团队发布《如何扩展模型》技术书
philhchen · x · 2026-08-18
Google DeepMind 团队发布了新书《How To Scale Your Model》，从系统工程视角深入解析 LLM 在 TPU/GPU 上的运作原理。内容涵盖 Roofline 模型分析、设备间通信机制、训练与推理的并行化策略（如 AllGather），以及如何估算训练成本和内存需求。该书旨在将模型性能优化从“炼金术”转化为可理解的科学，适合希望掌握大规模模型部署与优化的开发者。
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16