Google DeepMind 长文详解分片矩阵乘法：万卡 TPU 训练的通信理论
zacharynado · x · 2026-09-16
Google DeepMind 团队（Jacob Austin、Roy Frostig、Reiner Pope 等）发布《How To Scale Your Model》系列第三篇，系统讲解大模型训练中跨设备的分片（sharding）矩阵乘法。
- 核心问题：LLM 基本由矩阵乘法构成，参数放不进单卡 HBM 时必须拆分到上万块 TPU/GPU 上，如何切分直接决定计算效率
- 作者基于 TPU 通信原语的成本，建立了一套简洁的分片矩阵乘法理论，把 sharding 决策变成可推演的计算
- 覆盖集合通信操作（collective operations）与分区记号体系，并区分训练（降低 step time）与推理（降低延迟）的不同扩容动机——即使能塞进更少芯片，也常为速度而扩到更大拓扑
这是理解大规模分布式训练/推理基础设施的优质系统教程。
「Infra」频道最新
- 欲撼动 Postgres 须先复制其集成生态，而非只拼性能 — mgill25 · 2026-11-02
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02