UIUC 团队 CoPE:给 GRPO 加一个预测损失,样本效率提升 2 倍
youjiaxuan · x · 2026-10-17
UIUC 实验室发布 CoPE(Co-Evolving Acting and Forecasting for Language Agents),针对长程语言 agent 的样本效率问题提出极简方案。
- 核心思路:在 GRPO 之上仅增加一个多步动作预测损失(multi-step action forecasting loss),让 agent 从成功 rollout 中学习动作块(action chunks)
- agentic RL 通常只在轨迹末尾给单一奖励,导致 batch 内大部分样本无梯度;预测任务提供了每一步的监督信号
- 在 5 个长程 agent 基准上实现最高 2× 样本效率提升
- 代码基于 AgentGym-RL 的 verl fork,已在 GitHub 开源(MIT),附论文与项目主页
「编程与Agent」频道最新
- DeepSeek 开放独立 Search/Fetch API:每千次成功请求仅 5 元,失败免费 — teortaxesTex · 2026-10-17
- .NET 10 Lambda ARM64 基础镜像残留 170MB Yum 缓存 — DanielLockyer · 2026-10-17
- 一个 cron 任务让 Claude 自主破解密码难题并推进 1932 年数论猜想 — IgorCarron · 2026-10-17
- AI 加持下一人一周完成后端 Python 迁移 Go — rakyll · 2026-10-17
- 音频创业者用 Claude 3 小时反编译竞品获奖算法,感叹硬件护城河消失 — ChrisGPT · 2026-10-17
- Google 发布 Agent 评测实操指南：四层检查替代 vibe check — rseroter · 2026-10-17