Targeting Pivotal Decisions for Credit Assignment in Agentic Reinforcement Learning
Dongwon Jung, Hemanth Neelgund Ramesh, Yifan Wang, Xiaomin Li, Yuexing Hao, Yu Hu, Muhao Chen, Varun Chandrasekaran, Andrzej Banburski-Fahey, Jaron Lanier
cs.CL, cs.AI
2026-09-29
ProVer 让 LLM 裁判提名成败轨迹的关键分歧片段,用边界续跑的真实成功率差定信用,平均超 GRPO 9.9%(2B)与 7.1%(4B)。
GRPO 是 agent RL 最常用的底座:同一任务采一组轨迹,组内均值化的结局奖励当优势,免训 value model。代价是这条轨迹级优势平摊给轨迹里所有 policy token,credit assignment(把终端成败拆回中间各个决策)就此失效。agent 任务一轮几十步交互,真正决定成败的可能就一两个动作,平摊之后,成功轨迹里的错误动作跟着涨信用,失败轨迹里的有效推进跟着挨罚。已有改进各有坑:critic、process reward model 直接给中间步骤打分,判断可能不准、随 policy 漂移失效、还可能被优化钻空子;Monte Carlo 路线从中间状态分支续跑、用真实结局估价值,信号可靠,但逐状态评估要反复恢复环境、跑完整续局,长程任务上开销扛不住。
ProVer(Propose, Verify, Credit)把「找哪里」和「给多少」拆开:
关键取舍在于模型判断只决定「哪段值得花预算验证」,数值信用完全来自环境真实结局,judge 提错的代价只是几次多余续跑。触发条件收得紧:只处理组内成功率严格在 0 到 0.5 之间的混合组,每组只挑一条成功轨迹(同组最短的),验证只发生在两个边界上。
Qwen3.5-2B / 4B,ALFWorld、WebShop、SearchQA 三个环境,六个 setting 里 ProVer 拿下四个第一,两个规模平均分都最高:
| 方法 | 2B 平均 | 4B 平均 |
| GRPO | 54.07 | 60.12 |
| GiGPO | 55.53 | 59.90 |
| SPO-chain | 50.45 | 60.55 |
| CriticSearch | 54.26 | 62.28 |
| ProVer | 59.43 | 64.40 |
相对 GRPO 平均提升 9.91%(2B)和 7.12%(4B),六个 setting 全部为正。Budget-Matched GRPO 拿到同样多的额外 rollout 但仍用轨迹级信用,被 ProVer 全面超过 5.34% 到 22.23%,收益来自定向验证而非多采样;固定分段边界的 SPO-chain 在 SearchQA 上被拉开 43.95%(2B)。成本上,相对 GRPO 每步多生成 2.4%(ALFWorld)到 16.8%(SearchQA)的 policy token,是细粒度方法里每步墙钟时间最低的,judge API 费用平均比 CriticSearch 低 38.4%。
judge 消融:随机选段配上同样的验证和信用流程,SearchQA 通过率只有 19.5%,四个 agentic judge 在 58.5% 到 72.4%,且随机段平均更长(2.38 对 1.031.45 turn),高通过率来自定位准而非多盖动作。本地 Qwen3.5-9B 当 judge 拿到 ALFWorld 最高分,frontier 级 gpt-5.4 没有任何环境第一。提名不需要大模型。
对正在用 GRPO 训 agent 的团队,这是个能直接搬进管线的结构:LLM 判断负责定位,昂贵的 Monte Carlo 验证只花在两个边界上。它也给「LLM 评价能不能当 reward」的争论一个工程答案:评价可以出错,只要它只决定去哪验证,错误代价是几次多余续跑,不会污染信用信号。不依赖 frontier judge,9B 本地模型就能用,对预算敏感、要自建训练管线的团队很实际。
附录 B 自己承认:无偏性只对原始差值估计成立,取正半边后有偏,真实片段优势为零时,有限采样的正噪声也会留下正的期望加分;完整更新不是标准 policy gradient 的无偏估计,边界对比只给整段一个数,分不出段内单个动作的贡献。工程前提挑环境:要能精确恢复中间状态(ALFWorld、WebShop 这类模拟器可以,真实网页或第三方 API 未必),奖励必须是二值终端奖励。方法只给成功轨迹加正信用,失败轨迹里的误罚没有修正机制。SearchQA 评测用 gpt-5.4-mini 判语义等价,与默认提案 judge 同源。训练只跑 100 步,更长训练的稳定性没有验证。