agent 过半失败卡在一个早期失误，PivotOPD 教它补救

PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents

Yinghui He, Yapei Chang, Khushi Bhardwaj, Daniele Molinari, Tugrul Konuk, Jan Kautz, Ali Hatamizadeh

cs.AI

2026-10-01

PivotOPD 在关键失误轮及之后几轮注入教师监督，教 agent 防错与补救，三基准平均性能居 13 个基线之首，ALFWorld 领先 5.5 个百分点。

这篇在解决什么

On-policy distillation(OPD,在线策略蒸馏)让教师在学生自己生成的轨迹上逐 token 给监督，信号比只看最终成败的 RL 稠密得多。多轮交互里它有个结构性缺口：每步动作都会改变环境，一步走错，agent 就被带进一个原本不会遇到的状态，错误逐轮复利。

ALFWorld(文本家务环境)自带一个能算「离完成还差几步」的符号 oracle,借助它，一组诊断把问题量出了形状：Qwen3-8B、30B、235B 三个模型里，59% 的失败轨迹包含一个「关键失误」(pivotal mistake),即让剩余最优路径变长或把任务直接搞无解的动作。第一个关键失误来得很早，中位数在第 8-12 轮(上限 30 轮)，之后模型平均再空耗 18-21 轮也回不去。

这些失误大多还能救，这是全文最有价值的发现。对 Qwen3-8B 的 72 条带关键失误的失败轨迹做反事实重放：把失误那步换成 oracle 动作，成功率从 8% 升到 59%;失误保留，只在之后两轮强制 oracle 动作，也能到 58%。事后补救几乎和事先避免一样有效。

标准 OPD 恰好补不了这块。训练 120 步，整体失败率降 23.6%,关键失误型失败只降 2.1%(51%→49%)。OPD 确实压住了那个错误动作(概率中位数 0.999 降到 10^-5 以下)，但正确动作的概率在每个关键轮都不到 1%,一组 8 条 rollout 一次都采不到，学习信号无从谈起。

方法

PivotOPD 在 group-based RL(GRPO 一类)之上叠两个蒸馏项，把监督集中投在关键轮及其后几轮：

关键轮检测。教师模型(更大的 LLM)事后通读整条轨迹和结果，挑至多 m 个可疑轮，每轮给一个 gold action;学生实际动作与 gold action 不一致才算关键轮。检测与 oracle 标注的 ±1 轮一致率平均 77.8%,至少是随机选轮的两倍。训练全程不用 oracle,流程在所有基准上一致。
预防性蒸馏。在关键轮上，「特权自教师」给学生已生成的回复重新打分：冻结的学生收到一条「这一步合理做法是 X」的 hint 得到 hinted 分布，再用 reverse KL 把学生往 gold action 推。教师只点名动作，示范文本由加 hint 的学生自己写，蒸馏目标不跑出学生的风格。
恢复性蒸馏。关键轮之后，教师再为接下来 K 轮各点一个 recovery action;被 hint 的自教师写出恢复示范，学生不带 hint、用 forward KL 学。第 2 轮起的动作在环境副本里实际执行，后续状态真实来自失误之后的世界。

两个 KL 的分工是设计核心。基于学生采样的更新(结果 RL、reverse KL)对某动作的期望梯度正比于学生自己的概率 p(a),学生几乎不采样的恢复动作，更新量随 p(a)→0 一起消失；恢复性蒸馏的期望取在自教师一侧，更新大小跟着 q(a) 走，把概率质量正好种在学生「饿死」的动作上(Proposition 1 给了形式化证明)。三项损失合并进一次 PPO 更新。

结果

主实验：Qwen3-1.7B 与 8B 学生，ALFWorld、WebShop、Search-based QA,对 13 个基线，八项平均指标全部第一。

设置	对照	差距
1.7B,ALFWorld 平均	最强基线 SDAR 68.2	73.7,+5.5
1.7B,Search-based QA	最强基线	+5.9
1.7B,WebShop 成功率	RLSD	+14.1(部分给分的 score 仅 +1.2)
8B,三基准	最强基线	≥+1.8
自蒸馏(学生当自己的教师)	最强基线	平均 +3.9,三基准均第一
Nemotron-3.5,SWE-Bench Verified	标准 OPD 63.0(+0.2)	66.0(+3.2)

机制数字也对得上。回放那 72 个关键失误，PivotOPD 的恢复频率约是 base model 的 9 倍，比「只预防」变体高 26.9 个百分点；8B 学生上是标准 OPD 的 3 倍以上。恢复预算消融里，选中的 K 相比 K=0 把 WebShop 最佳验证分抬高 21.5 分，收益大头确实来自恢复。WebShop 上增益集中在要求任务完整做完的成功率，而非部分给分的 score,与「把半途任务推到完成」的机制一致。把同样的 hint 注入随机轮，ALFWorld 平均掉到 62.6(完整版 73.7),监督落点必须准。

自蒸馏设置里没有更强的教师，PivotOPD 仍三基准全胜(平均 +3.9),只是 ALFWorld 比强教师设置低 10.2%。增益主要来自教师在哪里、怎么介入，不全靠教师容量。

为什么重要

这篇把「多轮 agent 为什么失败」从直觉变成可测量的结构：过半失败能追到单个早期失误，且大多可补救，而结果 RL 和标准 OPD 在这类状态上恰好零信号(全员失败时组相对 advantage 恒为零，OPD 采不到恢复动作)。对做 agent RL 的人，这是可直接照搬的配方，在成功 rollout 稀少的场景收益最大，小模型、难环境正是重灾区。特权自教师还把教师成本压得很低：教师只出动作名，不写长示范。

体量上要诚实：8B 学生上增益收窄到 1.8-2% 一档，属于稳但不算大的改进；大幅领先集中在 1.7B 这种弱底座设置。

局限与存疑

SWE-Bench 的 +3.2% 没用到恢复蒸馏。episode 长且容器化，作者只在最后一个动作上做 m=1 的检测、K=0,只跑了预防项，hinted 分布也换成了教师本身。核心机制在软件工程上的有效性留给未来工作，这个数字不能当恢复蒸馏的证据。
关键轮检测靠教师判断，与 oracle 的 ±1 轮一致率为 71.1%-84.4%,有假阳性：搜索 query 这类自由文本动作很难逐字匹配，基本一律按关键轮处理。论文论证假阳性「代价不高」，但没有单独量化。
诊断只在 ALFWorld 做，因为只有它有符号 oracle;「过半失败源于单个关键失误」这个前提在其余基准上是外推，未直接验证。
恢复轮要在环境副本里重放执行，每步最多 64 条恢复序列，开销有界但存在；K 与恢复权重需按基准在验证集上调(WebShop、QA 选 K=1,ALFWorld 选 K=2)。
反事实里「纠正后 59% 成功」用的是 oracle 动作，真实训练只有教师点名的动作，质量更低。

术语

on-policy distillation(OPD):教师在学生自己生成的轨迹上逐 token 提供监督的训练方式，信号比只看最终奖励的 RL 稠密。
pivotal mistake(关键失误)：让「完成剩余任务所需最短步数」变长或使任务无解的动作；发生的那轮叫 pivotal turn。
privileged self-teacher(特权自教师)：冻结的学生模型加上一条点名正确动作的 hint 后得到的分布，负责产出风格一致的蒸馏目标。
reverse KL / forward KL:reverse KL 在学生分布上取期望，只能重新加权学生已有的输出；forward KL 在教师分布上取期望，能抬升学生几乎不采样的动作。
GRPO:同一任务并行采一组 rollout、按组内相对奖励算 advantage 的 RL 方法，全组同分时 advantage 恒为零。
oracle action:能读取环境完整状态的符号求解器给出的下一步最优动作，仅诊断用，训练不可得。

原文与代码

社区讨论

NVIDIA 论文 PivotOPD：教多轮智能体从早期关键错误中恢复 MohitIyyer