TPU和GPU集群通信深度解析
gordic_aleksa · x · 2026-07-15
这篇长文深入讲 TPU 和 GPU 集群里的集体通信原语，以及它们如何支撑大模型训练和推理扩展。
文章覆盖的重点包括：
- TPU 集群拓扑：superpods、slices、DCN、PCIe、ICI
- 核心通信算子：All-Gather、Reduce-Scatter、All-Reduce、All-to-All
- MoE 中 token 分发所依赖的 All-to-All
- GPU 集群拓扑：DGX 参考架构、节点、fat tree、scalable units
- 节点内外的通信算法：rings、trees、SHARP、分层集体通信、InfiniBand
作者强调，想真正理解扩展训练/推理，不能只看 FSDP、expert parallelism 或数据并行，还要先理解底层硬件拓扑与通信算法。
所属事件:TPU与GPU集群集体通信深度长文走红(5 条相关)→
「Infra」频道最新
- Anthropic 10 月 ARR 疑似暴涨，年底千亿美元 ARR 有望 — GavinSBaker · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26