Muon 优化器让首个 MoE 层更难做负载均衡，居中路由输入可缓解
Marcos Hernanz · hf · 2026-11-04
马德里自治大学的 технический 报告研究了用 Muon（替代 AdamW）训练混合专家语言模型对路由负载均衡的影响，在 55M 与 108M 激活参数的模型上测量优化器如何改变各专家路由偏置的跨度（层内最大减最小）。
- 发现：当所有 token 都偏好同一批专家时跨度增长，而 Muon 加大了第一个 MoE 层的偏置跨度，使该层的负载均衡更难维持。
- 缓解方法：对路由输入做居中（centering），或降低优化器学习率，可减小这一失衡。
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04