一文串起分布式 LLM 训练:6 种并行策略与通信/内存瓶颈全解
techNmak · x · 2026-10-17
techNmak 发布一张分布式 LLM 训练全景图,系统梳理 GPU 之间到底发生了什么:
- 六种并行策略:数据并行(DP,复制模型分发批次)、张量并行(TP,层内切分计算)、流水线并行(PP,按层分区+微批调度)、ZeRO/FSDP(切分优化器状态/梯度/参数)、序列/上下文并行(切分序列计算与激活)、专家并行(EP,MoE 专家分布式路由)。
- 通信原语:all-reduce、all-gather、reduce-scatter、all-to-all 各搬运不同数据,开销取决于并行策略、网络拓扑与张量大小。
- 内存约束:混合精度 Adam 下,7B 模型未切分的模型状态就约需 112 GB(2P+2P+4P+8P=16 bytes/参数)。
- 性能衡量:即便模型放得下,pipeline 气泡、同步延迟、激活内存和数据加载停顿都会限吞吐,应以 tokens/sec、step time、峰值内存、MFU 和扩展效率评估,而非只看 GPU 数量。
配图还覆盖梯度累积、pipeline 调度与 bubble 计算、GPU mesh 组合示例、瓶颈定位与 checkpoint 恢复。
「Infra」频道最新
- 在 C64、486 DOS 和任天堂 Wii 上跑语言模型的极客移植 — Awacer · 2026-10-17
- 买卡、租卡还是调 API?关键就看你的实际 GPU 利用率 — Dizzy_Lingonberry947 · 2026-10-17
- 开源工具 Underclass 池化多份 ChatGPT 订阅,绕开区域推理容量限制 — TheZachMueller · 2026-10-17
- 云真的到极限了：网友玩梗调侃数据中心争议 — gnukeith · 2026-10-17
- vLLM 三周把 DeepSeek-V4.1-Flash 吞吐拉高 5.3 倍，每美元 13 亿 token — woosuk_k · 2026-10-17
- Hugging Face 工程师晒自建机房：4 个 agent 并跑 256k 上下文 — TheZachMueller · 2026-10-17