ACE-RL:让智能体学会整理经验手册递给未来 rollout 实现递归自我改进

kaist-ai · hf · 2026-11-14

NYU 与 KAIST AI 的论文《Experience-Handoff Reinforcement Learning for Recursive Self-Improvement》指出:用标量奖励做 RL 训练 LLM 智能体会浪费掉 trial 中的丰富环境信息(如错误日志);现有反思/压缩类 harness 虽能传递经验,但交接产物(如 playbook)的构建本身不被学习。

作者提出 ACE-RL:固定 Agentic Context Engineering(ACE)harness,用 RL 联合训练行动生成、洞察反思与 playbook 整理三种角色行为——候选经验交接产物按其对未来 actor rollout 的下游效果来评估,既保留标量奖励信号又利用环境信息,让智能体通过创建和策展经验工件实现递归自我改进。