DeepSpeed 分享大规模训练新进展：AutoSP、Muon 优化器与自动并行
PyTorch · x · 2026-10-22
Google 的 Zhipeng Wang 在 PyTorch Conference 2026 上介绍了 DeepSpeed 团队在大规模模型训练上的技术与系统协同设计进展。
要点包括：
- AutoSP：自动序列并行（automatic sequence parallelism）
- Muon 优化器支持
- AutoTP / AutoEP：面向 Hugging Face 模型的自动张量并行与专家并行
他还谈到 DeepSpeed 开源社区与模型开发者、硬件厂商、AI 基础设施伙伴的合作，目标是让 DeepSpeed 在多样模型架构、工作负载和加速器平台上保持高性能。
「Infra」频道最新
- 爆料：二三线推理服务商已有能做出 90%+ 算力毛利的模型配方 — zephyr_z9 · 2026-10-22
- NVIDIA 发布 CPO 硅光交换与 Vera Rubin 架构，押注物理 AI — thealexbanks · 2026-10-22
- PyTorch 基金会新增 9 名成员，Nebius 等三家成为白金会员 — PyTorch · 2026-10-22
- GPU 初创 Flappy Airplanes 融资 10 亿美元 A 轮，Index 与 Lux 联合领投 — vitaliychiley · 2026-10-22
- Crusoe 在 PyTorch 大会展示 LLM 后训练平台，兼容 Tinker API — PyTorch · 2026-10-22
- 开源 PR 优化 DeepSeek-V4.1 推理：4 张 RTX PRO 6000 实测提速 — AlpinDale · 2026-10-22