AI2 发布 MoE 训练技术报告:重构 Olmo-core,最高 1.2T 参数跑在 512 张 B300 上
AkariAsai · x · 2026-11-18
AI2 团队(Tianhua Tao、Akari Asai 等)在 arXiv 发布 MoE 训练基础设施技术报告《Supercharging Olmo-core for Efficient and Scalable MoE Training》。
- 规模:基于 Olmo-core 重构,支持从 12.9B 到 1.2T 参数的 MoE 模型,最多在 512 张 B300 GPU 上训练。
- 核心问题:MoE 增加参数但每 token 计算量不变,而训练成本还取决于搬运字节数、显存占用和 kernel 启动数——这些成本跟随总参数量而非激活计算量,导致早期基线中专家参数变大后吞吐反而下降。
- 关键改造:用 DDP 架构替换旧版 FSDP;新增专家并行(EP)、流水线并行(PP)、分布式优化器和激活重计算;提出基于 NVSHMEM 的 rowwise EP,把 token 直接写入专家缓冲区,避免 dispatch/combine 排列开销;路由元数据留在 GPU 上配合 device-scheduled grouped GEMM 实现完全无同步 EP;深度集成 MXFP8 降低计算、激活显存与传输成本;checkpoint 与并行布局拓扑无关,可在不同运行间改变并行方案。
另附交互式网页版和 4 分钟讲解视频。
「Infra」频道最新
- SGLang 发布 v1.0 并成立联盟,NVIDIA、AMD、Intel 等 9 家罕见联手 — nikola_mr64990 · 2026-11-18
- 曝光:ChatGPT 之前英伟达销售牵线,帮 Alice Huang 拿下阿里芯片订单 — HanchungLee · 2026-11-18
- 英伟达 CFO 松口:对「循环融资」投资是否正确需重新审视 — rohanpaul_ai · 2026-11-18
- Together AI 开放 DeepSeek V4.1 Flash 1017 后训练,支持自建 RL/SFT — togethercompute · 2026-11-18
- AI剪10分钟视频耗2000-3000万token,20分钟成本几乎不变 — MatthewBerman · 2026-11-18
- Nvidia 已投约千亿美元,将收紧对 AI 公司投资审查门槛 — rohanpaul_ai · 2026-11-18