MoE 预训练 All-to-All 通信占训练步 60%,新方法削减 58% 分发行
QuentinAnthon15 · x · 2026-11-06
Essential AI 研究者 Quentin Anthony 等发布 arXiv 论文《Expert Coupling in MoE Pretraining》,针对专家并行(EP)下 MoE 层的 All-to-All 通信开销提出优化方法。
关键发现:
- 在每节点 8 张 AMD MI300X 的集群上,EP32 top-2 路由下通信集体操作可占训练步的 45%,top-6 路由下达 60%。
- 预训练早期路由器就已学会相关性分配模式:top-2 下仅 0.8% 的专家对被 42% 的 token 共同选中,且 token 在某一层选的专家能预测它在下一层的选择。
优化手段:
- 相关性专家放置(Correlated Expert Placement):把常被一起选中的专家放在同一 GPU;
- 配合每 token 每 GPU 只发一次的 dispatcher,最多削减 58% 的分发行;
- Token Shuffling:在序列并行分片 token 时,把 token 移到其专家所在的 GPU 上处理,进一步降低跨 GPU/跨节点通信。
作者称这些复杂性来自在真实模型和真实输入分布上测试新注意力 kernel,调试问题层带来很多洞见,可解释性工作与系统研究有惊人重叠。
「Infra」频道最新
- LMSYS XM-Sparse：KV 卸载解码提速，每 token 时间最多降 63.6% — xiaosun86 · 2026-11-06
- Polymarket 民调:56% 选民称 AI 与数据中心影响中期选举投票 — KyeGomezB · 2026-11-06
- 注意力内核遇上真实模型：可解释性与系统研究的交集 — QuentinAnthon15 · 2026-11-06
- 得州数据中心法案真相:已获批项目照建,新项目只需更严消费者保护 — VraserX · 2026-11-06
- 为承载上千 AI agent,GitHub 重构 Git 存储架构 — arpit_bhayani · 2026-11-06
- OpenAI 自研 Pando 应对 Codex 并发：Git 推送延迟降 5 倍日传 1PB — sven_ai · 2026-11-06