NYU 提出 DRMoET 鲁棒 MoE 训练法

纽约大学团队在 NeurIPS 2026 论文中提出 DRMoET（Distributionally Robust MoE Training），针对 MoE 稀疏路由带来的隐性可靠性问题。实验显示负载均衡训练的 10.3B 模型在七个任务上均值提升至 0.6767，效果超越 DeepSeek 式免辅助损失方案，碾压相关基线。有博主认为该方法在 MoE 负载均衡上表现突出，值得关注。

2026-10-12 ~ 2026-10-14 · 3 条相关

• NYU 提出鲁棒 MoE 训练 DRMoET,10.3B 模型七任务均值升至 0.6767 — newyorkuniversity · 2026-10-12
• DRMoET 训练法曝光：MoE 负载均衡效果超 DeepSeek 免辅助损失方案 — teortaxesTex · 2026-10-14

另有 1 条近重复转述:teortaxesTex