Meta 提出 Self-Credit：稀疏奖励下智能体 RL 的信用分配新解法
meta · hf · 2026-10-21
Meta 发布论文 Self-Credit，针对 RLVR 奖励稀疏导致长程智能体任务信用分配困难的问题，提出端到端的智能体 RL 方法，从稀疏结果奖励中构造稠密监督信号。
方法基于分组 RL，含三个组件：
- 自生成信用：策略模型在 rollout 中生成带引用的摘要，指向包含关键证据的早期轮次；
- 组内重缩放：对同一 prompt 的成功与失败 rollout 比较 被，利用组内一致性/分歧剔除不该得的信用、强化关键动作的信用；
- 优势重加权：用重缩放后的信用权重更新被引用轮次的优势。
实验结果：BrowseComp-Plus 上 Qwen3 8B/32B 分别提升 37.0/36.2 分，超过最强智能体 RL 基线 8.5/5.6 分；GAIA 提升 4.9 分，xBench-DeepSearch 提升 4.7 分。分析显示失败 rollout 上的组内重缩放在各规模模型上都重要。
「编程与Agent」频道最新
- 给小企业做 WhatsApp 智能体,难的不是机器人是人工接管 — flavia-f · 2026-10-21
- 内部数据显示:冗余工具描述可浪费 coding agent 77% 的 token — Jazzlike-Form9669 · 2026-10-21
- Agent 与软件公司可共存：门槛不是写好代码而是赢得信任 — andreisavu · 2026-10-21
- 开发者思考：买软件也是在买「决定它如何变好的团队」 — andreisavu · 2026-10-21
- 用户质疑 opencode 即使用本地模型也会上报数据 — Unusual_Principle536 · 2026-10-21
- 开源 CLI 一键测试 MCP 服务器，可扫描工具描述里的隐藏指令 — abhiramreddykalluru · 2026-10-21