从零学分布式训练:Reddit 网友精选 10 篇入门资源清单
East-Muffin-6472 · reddit · 2026-11-15
Reddit 用户整理了一份 LLM 分布式训练入门学习路径，按阅读顺序列出 10 个资源：
- Umar Jamil 的「从零构建分布式训练框架」视频（入门必读）
- Horovod：TensorFlow 快速上手分布式深度学习
- PyTorch Distributed：加速数据并行训练的实践经验
- Large Scale Distributed Deep Networks（谷歌经典论文）
- ZeRO：面向万亿参数模型的显存优化
- Megatron-LM：多亿参数模型的模型并行训练
- Megatron-LM 在 GPU 集群上的大规模高效训练
- GPipe：流水线并行训练巨型网络
- ZeRO-Infinity：突破 GPU 显存墙
- PyTorch FSDP：全分片数据并行的实践经验
清单已发布在 papercase.dev，该站还收录了量化、强化学习等主题的同类 10 篇精选资源。
「Infra」频道最新
- 分析：黄仁勋靠「人情世故」锁死英伟达亚洲供应链 — _onionesque · 2026-11-15
- 开发者实测：同时跑 3 个 AI Agent,32GB 内存也不够用 — PawelHuryn · 2026-11-15
- 传 Nvidia 临时 CEO 复查客户融资计划,3000 亿美元 OpenAI 俄亥俄芯片协议或生变 — SumitGup · 2026-11-15
- 跑 Agent 不必买 3 千美元 Mac mini,千美元翻新戴尔微型机够用 — PawelHuryn · 2026-11-15
- Pirate Face 用种子镜像 HuggingFace，已收录 2.8 万个开源模型磁力链 — zainhas · 2026-11-15
- Epoch AI 卫星测算：华为和林格尔算力仅约 Colossus 2 的 7% — kimmonismus · 2026-11-15