长程 Agent RL 训练配方研究:Muon 优化器+单 rollout 异步学习提升仓库级解题成功率
Kai Ruan · hf · 2026-10-15
人大高瓴、杜克、中科院等机构的研究 examining 长程智能体强化学习:稀疏结果奖励下需要为不同长度轨迹加权、并在 rollout 仍在收集时就更新策略。
- 提出 single-rollout 异步训练配方:Muon 优化器 + token 平均损失 + 截断重要性采样 + 辅助长度与工具错误惩罚。
- 单 rollout 采样让学习异步进行,无需等同一问题的多条轨迹。
- 在两个模型家族的仓库级 issue 解决任务上研究优化器选择与配方组件,完整配方的训练成功率高于基线。
「编程与Agent」频道最新
- Yohei 提出 FirmOS：用「公司操作系统」组织人与 Agent 协作 — _AustinCalvert_ · 2026-10-15
- 10 个 AI Agent 把 4800 万行数据库查询从 34 秒提速到 0.7 秒 — CurieuxExplorer · 2026-10-15
- 阿里 HICO-Bench:36% 高评分对话经不起可行性验证 — Tongyi-ConvAI · 2026-10-15
- 字节 Diff Diffusion 用扩散模型预测代码编辑:推理快 2.78 倍 — Xiaolong Xu · 2026-10-15
- Reddit 热议:做 AI Agent 的人正在丢掉基础软件工程 — Dangerous_Bus4157 · 2026-10-15
- Gemini CLI 修复后台 Git 更新检查劫持终端 TUI 的冻结问题 — villahernandez-coder · 2026-10-15