DRMoET 训练法曝光：MoE 负载均衡效果超 DeepSeek 免辅助损失方案
teortaxesTex · x · 2026-10-14
teortaxesTex 推荐了 NeurIPS 2026 论文《Distributionally Robust Mixture-of-Experts Training》(DRMoET)，认为其在 MoE 负载均衡上是比 DeepSeek aux-loss-free 更进一步的做法，且不损失吞吐。
论文要点：
- 指出负载均衡只平均了流量，却不管被路由到的专家是否真的胜任；DRMoET 把每层专家视为内生的鲁棒性分组，直接优化高损失路由结果。
- 方法是即插即用目标：用 EMA 平滑、激活加权的专家损失做熵正则 softmax 重加权，不改路由规则、不加辅助损失。
- 10.3B 总参数、67B token 的 FLAME-MoE 实验中，七任务平均分从 0.6625 提升到 0.6767，aux-loss-free 基线只有 0.6431；强制错路由下超额损失降低 4.3%，专家特化更清晰。
所属事件:NYU 提出 DRMoET 鲁棒 MoE 训练法(3 条相关)→
「研究」频道最新
- 三年打磨后 PyVBBC 1.5 发布，贝叶斯模型推断工具大幅升级 — twiecki · 2026-10-14
- ServiceNow 与麦吉尔发布 AgentHorizon：1373 项任务考 AI 裁判 — rohanpaul_ai · 2026-10-14
- AgentHorizon 基准：AI 评委审长程任务仍漏掉 20% 细微错误 — rohanpaul_ai · 2026-10-14
- 剑桥教授斯德哥尔摩癌症大会演讲:AI 改写肿瘤诊疗三方向 — MihaelaVDS · 2026-10-14
- Falcon 团队工程师发问：单步决策用 RL 优于 SFT 吗 — antoine_chaffin · 2026-10-14
- 用 Visual SLAM 做 match moving：从视频还原相机位姿合成 CG — rsasaki0109 · 2026-10-14