Muon 可能提升Agentic RL

Kai Ruan · hf · 2026-07-20

Muon 可能有助于 Agentic RL 后训练

这项研究考察了在稀疏奖励的 agentic 强化学习里，Muon 是否优于 AdamW，因为它在该场景中的价值此前并不明确。

• 他们在 ALFWorld 上，用 Qwen2.5-0.5B-Instruct 做了与 AdamW 的单种子对照实验。
• 在 GiGPO 下，只把 Muon 用在隐藏层权重矩阵上，最终窗口的验证成功率从 0.290 提升到 0.546，增幅 88%；而高学习率的 AdamW 对照在更新后没有保住成功率。
• 效果会受到 advantage estimator 和 学习率 的影响。
• 在 3e-5 学习率下，Muon 让 GRPO 从 0.161 提升到 0.268。
• 在 1e-5 下，GraphGPO 的 Muon 版本达到 0.901，归一化验证 AUC 从 0.399 提升到 0.556，并且分别提前 30 和 60 次更新达到 0.5 / 0.75 成功率。

作者认为，这些初步结果说明 Muon 值得继续研究，但还需要多种子和跨任务验证。

原文链接 →

「编程与Agent」频道最新

• Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
• 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
• 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11
• 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
• GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11
• 投资分析师求教：如何用 Claude 搭建尽调 Agent 工作台 — Careless_Tie2286 · 2026-09-11

更多「编程与Agent」频道 AI 资讯 →