DRMoET 论文：10.3B 规模 MoE 七任务均分 0.6767，碾压免辅助损失基线
teortaxesTex · x · 2026-10-14
arXiv 论文《Distributionally Robust Mixture-of-Experts Training》（2610.07207，NeurIPS 2026）提出 DRMoET：把每层专家视为内生的鲁棒性分组，通过 EMA 平滑、激活加权的专家损失做熵正则 softmax 重加权，强化高损失路由路径，不加辅助损失、不改路由规则。
实验结果（FLAME-MoE 配方）：
- 10.3B 总参数、67B 训练 token 下，七任务平均分从标准 FLAME-MoE 的 0.6625 提升至 0.6767；aux-loss-free 基线仅 0.6431。
- 强制 mid-k 错路由时超额损失降低 4.3%，专家损失方差更低、领域特化更好。
- 结论：路由鲁棒性（而非仅利用率均衡）应成为稀疏 MoE 可靠扩展的实用目标。项目页与代码已公开。
所属事件:NYU 提出 DRMoET 鲁棒 MoE 训练法(3 条相关)→
「研究」频道最新
- 三年打磨后 PyVBBC 1.5 发布，贝叶斯模型推断工具大幅升级 — twiecki · 2026-10-14
- ServiceNow 与麦吉尔发布 AgentHorizon：1373 项任务考 AI 裁判 — rohanpaul_ai · 2026-10-14
- AgentHorizon 基准：AI 评委审长程任务仍漏掉 20% 细微错误 — rohanpaul_ai · 2026-10-14
- 剑桥教授斯德哥尔摩癌症大会演讲:AI 改写肿瘤诊疗三方向 — MihaelaVDS · 2026-10-14
- Falcon 团队工程师发问：单步决策用 RL 优于 SFT 吗 — antoine_chaffin · 2026-10-14
- 用 Visual SLAM 做 match moving：从视频还原相机位姿合成 CG — rsasaki0109 · 2026-10-14