Muon 可能提升Agentic RL

Kai Ruan · hf · 2026-07-20

Muon 可能有助于 Agentic RL 后训练

这项研究考察了在稀疏奖励的 agentic 强化学习里，Muon 是否优于 AdamW，因为它在该场景中的价值此前并不明确。

• 他们在 ALFWorld 上，用 Qwen2.5-0.5B-Instruct 做了与 AdamW 的单种子对照实验。
• 在 GiGPO 下，只把 Muon 用在隐藏层权重矩阵上，最终窗口的验证成功率从 0.290 提升到 0.546，增幅 88%；而高学习率的 AdamW 对照在更新后没有保住成功率。
• 效果会受到 advantage estimator 和 学习率 的影响。
• 在 3e-5 学习率下，Muon 让 GRPO 从 0.161 提升到 0.268。
• 在 1e-5 下，GraphGPO 的 Muon 版本达到 0.901，归一化验证 AUC 从 0.399 提升到 0.556，并且分别提前 30 和 60 次更新达到 0.5 / 0.75 成功率。

作者认为，这些初步结果说明 Muon 值得继续研究，但还需要多种子和跨任务验证。

原文链接 →

「编程与Agent」频道最新

• Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
• diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
• 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
• Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
• HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
• HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26

更多「编程与Agent」频道 AI 资讯 →