面向Agent的异步单Rollout RL
de4dee · reddit · 2026-07-14
论文提出 Single-Rollout Asynchronous Optimization (SAO)，目标是解决面向长链路 agent 任务时，异步 RL 的稳定性和离策略问题。
主要做法
- 用单条 rollout 取代 GRPO 常见的组内采样，降低异步训练中的离策略偏差
- 增加更实用的 value model 训练设计
- 引入严格的双边 token 级 clipping，提高优化稳定性
结果
- 训练可稳定跑到一千步，并在 SWE-Bench Verified、BeyondAIME、IMOAnswerBench 等基准上持续优于 GRPO 及其变体
- 在模拟在线学习场景中也表现更好，说明它对变化环境有适应能力
- 这套方法已被用于开源 GLM-5.2 的 agentic RL 训练管线中
所属事件:SAO异步强化学习算法在编程推理上超越GRPO(3 条相关)→
「编程与Agent」频道最新
- AIE Code Summit 2026 开放申请:仅收 800 人,keynote 全程免费直播 — trq212 · 2026-10-27
- 十年云架构师：企业 AI 架构远不止加一个 LLM — kashifmanzoor · 2026-10-27
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- 预计算标准答案：团队重复问答的缓存式解法 — colinmcnamara · 2026-10-27
- 开发者观点：与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27