Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning
Kevin Frans, Alexander M Rush, Sergey Levine, Pieter Abbeel, Ashvin Nair
cs.LG
2026-11-04
以 Qwen3-Coder-30B 做多轮软件工程 agent。定向引导只在失败轮用文字反馈做自蒸馏,并给每条标准单独的 RL 奖励。Markdown 从 0 升到 0.85,编程通过率保持 0.33,与纯 GRPO 持平。
多轮编程 agent 里,调好的 GRPO 已经能把解题通过率抬上去。支撑集外面的奖励则推不动:监督微调没见过的工具参数,或 rubric 要求的某种写法。策略一次采不到合格动作,梯度没有正样本,这项分就停在 0。
judge 通常已经写出「怎么改」。普通 RL 把每条标准压成标量,句子被丢掉。定向引导(targeted guidance)把反馈插回失败轮,用同一套权重做 on-policy 自蒸馏。基座是做过 agent 监督微调的 Qwen3-Coder-30B。要通过率不掉,并把朴素 RL 学不会的标准补上。
每条二元标准配一句固定反馈。失败轮把这句话放在该轮之前。专家就是当前策略加上这句上下文。更新时专家停梯度,学生以反向 KL 贴近专家在该轮的逐 token 分布,其他轮 mask 掉。
损失是 GRPO 加上只在失败轮计算的蒸馏项,系数为 λ。KL 在训练端按全词表计算,减少和推理分布的错位。整条轨迹一起归一化,避免循环推理的超长输出主导梯度。
反馈不写进全局提示,只贴在出错轮,两边的差别被限制在这一轮。改对之后该轮退出失败集合,蒸馏自己消失。分项 RL 奖励保留:蒸馏负责把行为推进支撑集,策略梯度负责留下。只蒸馏、不给奖励,行为会出现,但守不住。
反馈句先用基座模型筛选,只保留加上后平均表现更好的句子。专家不自回归重写整轮,只多一次前向给 logits。全部标准稳定满足后,蒸馏项归零,更新回到策略梯度。最优点上不会再残留这项 KL;每轮都蒸馏则做不到。
训练 200 步,批大小 32 组、每组 32 条轨迹,Adam,学习率 3e-6,每题只训一次,采样策略可以比重更新的参数更旧。思考和工具调用 token 都进入蒸馏。λ 做了扫描,最终取值没有公布。
| 方法 | 编程通过率 | Markdown | Approval |
| Baseline(只训编程) | 0.33±0.05 | 0.00 | 0.00 |
| GRPO(文风当奖励) | 0.33±0.07 | 0.00 | 0.00 |
| OPSD(只蒸馏) | 0.30±0.05 | 0.77±0.04 | 0.25±0.09 |
| Online SFT | 0.26±0.05 | 0.01±0.01 | 0.02±0.01 |
| LaTRO | 0.14±0.09 | 0.00 | 0.00 |
| Verifree | 0.20±0.06 | 0.01±0.02 | 0.01±0.01 |
| 定向引导 | 0.33±0.05 | 0.85±0.09 | 0.55±0.06 |
Markdown、Approval 上,Baseline 和 GRPO 都是 0.00,定向引导到 0.85±0.09 和 0.55±0.06,通过率仍是 0.33±0.05。OPSD 的 Markdown 有 0.77±0.04,Approval 只有 0.25±0.09,通过率 0.30±0.05。Online SFT、Verifree、LaTRO 通过率掉到 0.26±0.05、0.20±0.06、0.14±0.09。三者都让专家另采样一轮新动作。这些动作能抬文风,也会抬高对编程不利的行为;异步下动作还会变旧。
支撑集内的项,GRPO 已经够用。一项 Baseline 0.70±0.06,GRPO 0.96±0.02,定向引导 0.95±0.01。另一项 Baseline 0.04±0.03,GRPO 0.48±0.08,OPSD 0.29±0.03,定向引导 0.77±0.05。再一项 GRPO 为 0.00,OPSD 为 0.01,定向引导为 0.64±0.13。
语义搜索新增「返回行数」,提示中有示例,基座仍不用。定向引导能学会,编程不回退,信号集中在分隔符,改对后引导接近 0。每轮要交诗体状态时,GRPO 的诗奖励完全不动,通过率照常上升。只蒸馏或不加门控,诗能出现,通过率明显回退。定向引导能写上诗,回退更小。这两组都没有给出精确通过率。
λ 太大时熵先尖峰,输出变长,随后通过率和文风一起掉。λ 小则稳,文风更慢。思考 token 不进蒸馏时,各项会上去又落下;放进蒸馏后一起上升。思考里会提醒自己用 markdown、先跟用户确认。不蒸馏思考时,收尾只谈代码。
它来自 Cursor 和 UC Berkeley,挂在现成的 GRPO 旁边。多出来的成本是失败轮上一次前向,以及人写的反馈句。场景限于新工具字段、没覆盖过的输出格式,和 rubric 里采不到就永远为 0 的条款。
编程通过率没有超过只训主任务的 GRPO。格式和文风可以从 0 拉开,解题是否更强,没有证据。相对让专家重写整轮的 Online SFT、LaTRO、Verifree,学生仍在自己的轨迹上更新,主任务掉得少。
Composer 2.5 用过这套技术的一个版本,那个发布不涉及 Qwen。上面的数全部来自公开的 Qwen3-Coder-30B。
每条标准都要手写反馈,再用基座模型筛。judge 能否自动写出不伤害主奖励的提示,没有做。
实验只有多轮软件工程,目标主要是文风和格式。诗体状态能说明支撑集外的行为学得会,不能说明修 bug 或长程规划会受益。反向 KL 与前向 KL、JS 散度、Rao-Blackwellized KL 接近,但没有细比。更早的一批 OPSD 变体也没有在同一环境里对齐。
熵崩溃和文风振荡,是靠调小 λ、把思考 token 纳入蒸馏压住的。换一个任务是否还成立,不知道。LaTRO、Verifree 的通过率下降被解释为异步下专家新动作过期,同步训练对照没有做。
专家要比当前策略更好、并且离它不太远,只是设计时的启发式,实验不保证。筛反馈看的是整段生成的平均分,训练用的是逐 token 蒸馏,两步并不相同。