用RL训练智能体自我积累经验,ACE-RL让下一轮表现更好
sherryyangML · x · 2026-11-21
核心问题:用标量奖励做 Agentic RL 会丢掉环境里的细粒度信息(如错误日志)。近期工作(如 ACE)让智能体在 harness 里通过反思/压缩把经验写成 playbook 交给后续 rollout,但这些交接产物本身从未被训练。
方法(ACE-RL):固定 Agentic Context Engineering 的 harness,训练同一个模型分别承担三个角色——行动生成、洞察反思、playbook 策展,每个角色有各自的 RL 目标;用候选经验产物对后续 actor rollout 的下游效果来评估其价值,从而联合优化。
结果:在多个 agentic benchmark 上,held-out 表现优于基线。结论是智能体训练不应只优化当前 rollout 的动作,还要优化模型写给未来 rollout 继承的经验。
论文 arXiv:2611.16409,作者 Doyoung Kim、Byeongguk Jeon、Kailin Zhang、Sherry Yang,代码已开源。
「编程与Agent」频道最新
- foldkit 从同一 API 派生前端命令与实时订阅,一键部署 Cloudflare — samgoodwin89 · 2026-11-21
- 开发者用 Alchemy Domain 一把过 vercel/board,自动派生 API/MCP/CLI — samgoodwin89 · 2026-11-21
- CapCut 推出 ChatGPT 插件,对话式生成并剪辑可编辑时间线视频 — HeyZoyaKhan · 2026-11-21
- ENZO 开源自托管 AI 工作台,免费 API 与本地模型同列表混跑 — anonymous20256 · 2026-11-21
- Codex WebSocket 上限提至 1GB,大幅优化大任务速度 — charliermarsh · 2026-11-21
- Codex 将 WebSocket 请求上限从 16MB 提至 128MB,大幅减少回退 HTTP — charliermarsh · 2026-11-21