LLM 分布式训练入门书单:从第一性原理到 FSDP 的 10 篇必读
East-Muffin-6472 · reddit · 2026-11-17
作者按自己从零学习 LLM 分布式训练的顺序整理了一份 10 项资源的必读书单,面向想掌握从 ring-allreduce 到 3D 并行、分片优化器的多节点集群工程师:
- Umar Jamil 的从第一性原理构建分布式训练框架视频
- Horovod:TensorFlow 中的快速简易分布式深度学习
- PyTorch Distributed:加速数据并行训练的经验
- Large Scale Distributed Deep Networks(DistBelief)
- ZeRO:面向万亿参数模型的内存优化
- Megatron-LM:多十亿参数模型的模型并行
- Megatron-LM GPU 集群上的高效大规模训练
- GPipe:流水线并行训练巨型网络
- ZeRO-Infinity:打破 GPU 内存墙
- PyTorch FSDP:全分片数据并行的扩展经验
清单发布在 papercase.dev 的 Distributed Training 书架上,并支持社区调整阅读顺序(rebalance)。
「Infra」频道最新
- 18MB 浏览器 TTS 模型 tiny-voca 走红:454万参数免 GPU 免费跑 — thisdudelikesAI · 2026-11-17
- Replicate 静默改版:nano banana 下载从 JPG 改为预签名 URL — Kyrannio · 2026-11-17
- Fireworks AI 称芯片已是商品,真正的护城河是让模型跑得更快的软件 — hargup13 · 2026-11-17
- 用 Claude 写 CUDA C++ 重写 TRELLIS.2,H200 上快 5.3 倍 — huggingface · 2026-11-17
- 2027 年中国仅产 300 万颗 AI ASIC,西方 2000 万颗且单芯片性能 4 倍 — teortaxesTex · 2026-11-17
- Harmonic AI 定理证明器 Aristotle 剑桥开讲:无幻觉合成正确硬件 — satnam6502 · 2026-11-17