Self-Credit:让 LLM 智能体自我分配步骤奖励,BrowseComp-Plus 提升 8.5 分
gregd_nlp · x · 2026-10-31
一项新研究提出 Self-Credit 方法,解决长程智能体任务中的 credit assignment 难题:LLM 在多轮任务中执行大量中间动作,却只在最后拿到一个最终奖励,传统 RL 无法判断哪些步骤值得奖励。
核心做法:
- 智能体自我生成带引用的摘要,对每个回合动作给出 turn 级别的自引用信用;
- 通过跨多个 rollout 的组内对比对信用进行重标定(advantage reweighting),无需外部指导即可产生学习信号。
在 BrowseComp-Plus 基准上,Qwen3-32B 达到 47.0%(较 GRPO 等强 agentic RL 基线最高 +5.6),Qwen3-8B 达到 40.6%(+8.5),全面超过 GRPO、GiGPO、SUPO、ECHO 等基线。
「编程与Agent」频道最新
- 黑客松项目 ExpireMem Guardian:拦截 AI 代码补丁中的失效 API 调用 — Ok_Researcher391 · 2026-10-31
- 独立开发者用 Claude 做出 3D 塔防游戏 Wanderlight,已上 Steam 页面 — MosskeepForest · 2026-10-31
- Curtis Yarvin 提出「自动驾驶计算机」:应用全由电脑自己写 — ZeroStateReflex · 2026-10-31
- 设计师 vibe coding 为摩托车行交付管理系统，客户追着要语音 Agent — SaiTarunRonanki · 2026-10-31
- Agent 评测设计实战：时间戳相同时如何让答案不依赖检索顺序 — jylusdev · 2026-10-31
- herdr 五个月进 YC：终端运行时让编程 Agent 在关机后持续存活 — Scobleizer · 2026-10-31