MoE 强化学习稳定性新论文：router 感知的重要性采样重缩放
tokenbender · x · 2026-09-22
tokenbender 解读 arXiv 论文《Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts》（北京邮电/微软系团队，含 Furu Wei）及小米相关消融实验：
- 现有 RL 研究多聚焦 dense 模型，MoE 架构的 RL 训练不稳定性长期缺乏研究
- 论文提出 router-aware 方法优化 off-policy RL 的重要性采样（IS）权重：用 router logits 引导重缩放，降低梯度方差、缓解训练发散
- 实验显示方法显著提升 MoE 模型收敛稳定性与最终性能
- 作者点评 5.4 节的 router freezing 部分是有意思的经验技巧，小米的消融实验做得不错
所属事件:小米MoE强化学习稳定性论文：GRPO改造详解(2 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12