Meta 开源 Dist-MoE：解决 CUDA Graph 下的无 dropout MoE 难题
ezyang · x · 2026-10-21
Meta 超级智能实验室（MSL）开源 Dist-MoE，一个面向分布式 MoE 训练与推理的极速内核库。PyTorch 核心开发者 ezyang 表示，去年团队还在为「可 CUDA Graph 化、无 dropout 的 MoE」发愁，Dist-MoE 已在内部和开源侧基本解决了这个问题。
技术要点：
- 融合通信与计算内核，支持 BF16/MXFP8 训练与推理，以及 NVFP4 推理
- 完整支持 CUDA Graph，跨层动态激活打包到有界缓冲区
- 动态、容量驱动的重计算（recompute），无需 shared-expert 分支
- 在 GB300 NVL72 上，不均衡的十层 MXFP8 训练负载（64 GPU）相比 Mixture-of-Kittens（MoK）最高加速 1.40×
官方还配了图解指南，可交互查看路由、expert parallelism 与 fused kernel 的执行过程，是 MoE 分布式训练工程的优质参考资料。
「Infra」频道最新
- 投资者称市场低估算力需求千倍：智能将达太瓦级电力规模 — inductionheads · 2026-10-21
- TiDB 数据泄露报告:凭据进 Jira 工单、4 年未修的根权限漏洞 — arpit_bhayani · 2026-10-21
- FireTrident：80 个编码 Agent 共享一个仓库，62 秒清零 Hono 958 条违规 — dinasaur_404 · 2026-10-21
- 传 xAI 因中国光模块受限,转向 ACC/AEC 与铜互连 — jwt0625 · 2026-10-21
- a16z 旧金山堆场爆满：fal、ElevenLabs 等谈推理系统扩展 — venturetwins · 2026-10-21
- Baseten 零日上线三款新开源模型，自称基准与生产流量双第一 — baseten · 2026-10-21