NYU 提出鲁棒 MoE 训练 DRMoET,10.3B 模型七任务均值升至 0.6767
newyorkuniversity · hf · 2026-10-12
纽约大学团队提出 DRMoET(Distributionally Robust MoE Training),针对 MoE 稀疏路由带来的隐性可靠性问题:负载均衡训练的模型在路由不准时,可能把 token 分给对这类输入训练不足的专家。
- 方法:把每层专家视为内生的鲁棒性分组,用熵正则 softmax 规则在 EMA 平滑、按激活加权的专家损失上更新分布,优化高损失路由结果而非只均衡流量,是可即插即用的训练目标。
- 结果:在 FLAME-MoE 配方下,746M 与 10.3B 两种规模均优于标准 FLAME-MoE 和 auxiliary-loss-free 基线;10.3B 参数/67B token 下七任务平均从 0.6625 提升至 0.6767(auxiliary-loss-free 仅 0.6431)。
- 机制分析:专家损失方差更低而均值几乎不变;强制 mid-k 误路由下超额损失降低 4.3%,领域专家特化度提升。
结论:路由鲁棒性(而不仅是利用率均衡)应成为可靠稀疏 MoE 扩展的实用训练目标。项目页与代码已开源。
「研究」频道最新
- NVIDIA 发布 GATOR:普通照片生成式+智能体重建 3D 物体 — nvidia · 2026-10-13
- 伯克利研究：10 分钟 ChatGPT 就会削弱独立思考耐力 — RachelVT42 · 2026-10-13
- Radiolab 推出「Math Vs Machine」：数学家直面 AI 冲击波 — stevenstrogatz · 2026-10-13
- 人脑微蛋白图谱上线 Hugging Face:收录超 1000 种微蛋白 — huggingface · 2026-10-13
- 循环 Transformer 多跳推理卡在 8%,DiscoLoop 免重训提到近 100% — jasondeanlee · 2026-10-13
- 微软StudentSim：用AI模拟学生给AI家教练手 — Microsoft Research · 2026-10-13