论文 SAO 探索长周期 Agent 的异步优化
khademinori · x · 2026-08-21
这篇论文提出了“单次回滚异步优化 (SAO)”，旨在解决长周期智能体任务中异步强化学习的稳定性与离策略挑战。
核心观点： 未来的 Scaling Law 可能不再仅关注参数量，而是关注 Agent 能工作多久、能吸收多少真实世界反馈以及学习速度。SAO 是迈向“长周期 Agent -> 持续学习 -> AI 劳动力”未来的有趣一步。
技术细节：
- 背景： 现有 LLM 的 RL 流程多为同步和批处理交替，对长周期任务效率低。
- 方法： SAO 用单次回滚采样替代 GRPO 中常用的分组采样，以减少离策略影响并提升泛化能力；引入严格的双侧 Token 级裁剪策略以提高优化稳定性。
- 结果： SAO 能稳定训练上千步，在 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench 等智能体编程和推理基准上持续优于 GRPO 及其变体。
所属事件:智谱发布 SAO：异步 RL 稳定训练千步超越 GRPO(2 条相关)→
「编程与Agent」频道最新
- 将 JS 代码编译成神经网络：Chenglou 开源 Handwired 玩具项目 — ctjlewis · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- Meta 超智能实验室 200+ 直接汇报,扁平组织移植到 AI Agent 设计 — peterjliu · 2026-10-16
- LangChain CEO:最有趣的 agent harness 工作在 harness 与基建交界处 — hwchase17 · 2026-10-16
- 多智能体论文 GitSwarm：用 Git 仓库做持久记忆，一次跑通 IMOProofBench 全部 30 题 — anirudhg9119 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16