SLCA-GRPO: Resolving Cross-Segment Credit Misattribution in Tool-Calling RL
Yan Zhan, Shaobo Liu, Qiunan Liu, Yuanjun Shi, Siqi Xu, WeiYi Hou, Xiang Xu, Zekang Li, Weizhou Pan, Jiahong Yan
cs.AI, cs.LG
2026-09-24
腾讯把工具段和总结段的优势分开标准化再路由，切断总结奖励回灌到API决策。7B上相对匹配GRPO，域内Toucan Success +2.53个百分点，τ²-Bench Pass1 +9.15个百分点。
工具调用智能体的一条轨迹通常两段：前面是推理夹工具调用，后面是给用户看的自然语言总结。GRPO 这类 on-policy RL 会把整条轨迹的标量优势广播到所有 token。总结写对了，前面乱调工具也可能被加强；总结写错了，前面调对的工具也可能被罚。论文把这条通路叫做跨段信用错配。
加局部工具奖励、或把规划器和总结器拆成两个模型，都没有在统一策略里切断「总结奖励流向工具 token」这条梯度。诊断里工具梯度和总结梯度接近正交，优化还在抖，说明问题在优势污染，不在梯度方向打架。
SLCA-GRPO 做三件事。
先用现成的 token mask 切段：可学习 token 的最后一段连续 run 当总结段，前面所有 run 当工具段，环境回插的观察不算梯度。没有工具调用的轨迹整段当总结。
奖励也拆开。Hierarchical Rewards（HierR）给工具段一个稠密过程分，看名字、参数、是否匹配金标轨迹；给总结段一个终端偏好分。组内各自标准化，得到 Âtool 和 Âsum，再按段路由：工具 token 只乘工具优势，总结 token 只乘总结优势。工具侧梯度对总结奖励的偏导为零。这是结构轴上的信用分配，和 VinePPO、GiGPO、SPO 那种时间轴逐步归因正交，理论上能叠，联合实验没有做。
为了不靠真 API 做大规模 rollout，Schema-Guided LLM Simulator（SGLS）先按 schema 做确定性校验，合法调用再交给跨家族冻结 LLM 模拟返回。训练目标仍是带 PPO clip 的单一策略，只是把 GRPO 的统一优势换成分段优势。组大小 G=16，RL 一轮。
数据来自 Toucan：42423 条 SFT、31818 条 RL、4000 条测试。对照里公平的一行是同一套 SFT 初始化、同一套 HierR 和 SGLS 的 SFT+GRPO。
Toucan 严格 [email protected]（过程分 ≥0.9）：
| 骨干 | SFT+GRPO | SLCA-GRPO | 差值 |
| Qwen2.5-3B-Instruct | 74.12% | 76.47% | +2.35 pp |
| Qwen2.5-7B-Instruct | 76.60% | 79.13% | +2.53 pp |
| Qwen3-8B-Base | 76.97% | 79.02% | +2.05 pp |
域外：7B 上 BFCL 相对匹配 GRPO +1.36 pp，τ²-Bench Pass1 +9.15 pp。8B 上 BFCL Overall 70.31% 对 GRPO 的 66.96%，τ²-Bench +10.03 pp。3B 上这两项只高 0.40 和 1.09 个点，长程协作增益主要出现在 7B/8B。
7B 消融（三随机种子）：去掉 SLCA，Toucan Success 从 79.13% 掉到 76.60%，τ²-Bench Pass1 从 41.02% 掉到 31.87%；去掉 SGLS 的 schema 约束，τ²-Bench 到 36.19%；去掉 HierR 只留稀疏总结奖，Toucan Success 到 73.44%。训练曲线上 SLCA 用更少的平均工具轮次换到更高成功率，GRPO 轨迹更长但成功不上，更像在用冗长调用去刷总结奖励。
谁在用 GRPO 训带工具的 agent，先检查优势是不是整段广播。工具对了、话术错了，不该回灌到 API 选择上。SLCA 不改采样、不加中间状态 rollout，实现成本低。τ²-Bench 上 7B/8B 的 9 到 10 个点，比域内那 2 个点更值得看：长程双控环境更吃「不要用总结结果去改工具决策」。
域内 +2.53 pp 是渐进改进。主表里 ToolPO、RLTR 更差，但奖励协议并不完全对齐，不能当成把既有方法打穿。
作者自己列得很清楚。分段假设工具和自由文本有干净边界，行内代码生成这类场景要另学切段。过程奖励靠匹配金标轨迹，同一请求的另一条合法 API 计划可能被低估；Toucan 的 [email protected] 是过程分阈值，不是独立任务成败标签。工具段内部仍是一个标量优势，Action 1 对、Action 2 错时分不清，和 VinePPO 的组合还没做。实验到 8B，环境是模拟器，没有大规模真 API 对照。