CoPE 只加一个损失,让语言 Agent 样本效率最高提升2倍
Lianhuiq · x · 2026-10-17
arXiv 论文《Co-Evolving Acting and Forecasting for Language Agents》提出 CoPE 方法,在 GRPO 基础上仅增加一个损失项,让 Agent 在成功 rollout 上预测自己接下来的 K 步动作。
核心思路
- 相比价值目标(只来自单一标量奖励)和观测目标(网页/终端日志长且噪声大),动作序列短且信息密度高
- 成功轨迹中已记录后续动作,无需模拟器、critic 或人工标注
- 每个动作既在执行时被训练,也在被前序历史预测时被训练,形成类似机器人 action chunking 的隐式时间集成,并在训练中吸收进共享骨干
效果
- 五个基准(ALFWorld、ScienceWorld、WebShop、τ²-bench、AppWorld)上聚合表现优于 GRPO 等基线,样本效率最高提升 2 倍
- WebShop 成功率 64.5 → 77.0,ALFWorld 90.5 → 95.5
- 推理时仍逐步预测动作,零额外开销
所属事件:UIUC 提出 CoPE：给 GRPO 加动作预测损失，样本效率翻倍(3 条相关)→
「编程与Agent」频道最新
- TwelveLabs 视频理解 Agent Jockey 正式上线,经 MCP 接入 ChatGPT 与 Claude — lmoroney · 2026-10-17
- Google 演示用 Antigravity 加 Blender MCP 把遗迹数据重建为 3D 世界 — jnack · 2026-10-17
- Mixpanel 上架 MCP Server,AI 助手可自然语言查漏斗与留存数据 — modelcontextprotocol · 2026-10-17
- MCP 接入英国最大信息公开平台,AI 助手可检索 FOI 申请并起草新请求 — modelcontextprotocol · 2026-10-17
- Codex 移动端体验吐槽：服务器中转设计让躺床场景难以连接 — tinyfool · 2026-10-17
- 开发者用自制 Skill 剪出产品宣传片，AI 视频工作流再添玩法 — AlchainHust · 2026-10-17