用RL训练智能体自我积累经验,ACE-RL让下一轮表现更好

sherryyangML · x · 2026-11-21

核心问题:用标量奖励做 Agentic RL 会丢掉环境里的细粒度信息(如错误日志)。近期工作(如 ACE)让智能体在 harness 里通过反思/压缩把经验写成 playbook 交给后续 rollout,但这些交接产物本身从未被训练。

方法(ACE-RL):固定 Agentic Context Engineering 的 harness,训练同一个模型分别承担三个角色——行动生成、洞察反思、playbook 策展,每个角色有各自的 RL 目标;用候选经验产物对后续 actor rollout 的下游效果来评估其价值,从而联合优化。

结果:在多个 agentic benchmark 上,held-out 表现优于基线。结论是智能体训练不应只优化当前 rollout 的动作,还要优化模型写给未来 rollout 继承的经验。

论文 arXiv:2611.16409,作者 Doyoung Kim、Byeongguk Jeon、Kailin Zhang、Sherry Yang,代码已开源。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →