Self-Evolving Agents through Privileged Retrospective Distillation
Yuhang Zhou, Yifan Wu, Bo Peng, Mingyi Wang, Jiayi Liu, Xiangjun Fan, Lizhu Zhang, Zhuokai Zhao
cs.LG, cs.AI, cs.CL
2026-10-20
RSD 用事后特权上下文给自己的动作重新打分,再蒸馏进策略。Qwen3-14B 在 ScienceWorld 的成功率从 12.9 升到 20.6,相对基座高 59.7%;前沿模型改上下文规则,再相对高 44.7%。
线上 agent 攒下的多轮轨迹,很少改得动模型权重。改 prompt、工作流或记忆,能力留在脚手架里。改权重则通常要成功轨迹做监督微调,或要环境奖励做强化学习。更接近部署的设定是每个任务只采一条当前策略的轨迹:没有标准动作序列,也没有可靠奖励。只留成功样本,已经采到的失败反馈就被丢掉。
动作当时,策略只看得到历史。轨迹结束后,后续观察暴露早先决策的后果,经验库里还有相关任务如何做成、如何失败。RSD 把这个事后才出现的信息差,变成当前策略的密集监督。
同一模型身兼学生和老师。学生只看当时的历史并采样动作。老师不另写轨迹,只在已经走出的动作上读一份事后才有的特权回顾上下文,重新给出下一词分布。学生用前向 KL,把下一词分布拉向老师。损失里没有策略梯度,也没有任务奖励,失败样本同样能监督。
上下文每轮按累加的经验库重做。先例是筛过的相关轨迹:家务和科学环境按是否完成过滤,SearchQA 保留能被顶部检索段落支撑的答案,再按与当前目标的内容词重叠取前 2 条。教训由同一模型按任务类型来写,成功和失败都收,每类每轮一份。反思在轨迹结束后指出最早的关键失误和更好的动作。未来后见把该步之后的交互和环境反馈原样附上。
默认 10 轮,每轮 200 个任务,全参数更新,学习率 3×10⁻⁶,前向 KL 只在 top-20 上算,每轮 1 个 epoch。老师先跟随学生,指标一旦低于峰值就冻在最好的检查点。主结果推理时不带这份上下文。
更强的一档用 Claude Opus 4.8 改上下文怎么拼。白名单只包括先例条数和检索方式、组件开关、注入位置、老师温度,训练算法不在其内。候选先做无训练探针:一小片训练分布上贪心解码,看成功率,再进完整一轮。环境成功率不低于历史最佳减 0.5 个百分点才保留规则;否则只退规则,新权重留下。环境指标不进策略损失。
主表是三颗种子的平均。ALFWorld 报 seen 与 unseen 成功率的均值,ScienceWorld 报开发集成功率,SearchQA 报精确匹配。
| 方法 | 指标 | 结果 |
| Base → RSD | ALFWorld-8B 成功率 | 62.9 → 76.6 |
| GRPO / GT-OPSD | ALFWorld-8B 成功率 | 75.5 / 70.1 |
| Base → RSD | ALFWorld-14B 成功率 | 69.3 → 79.6 |
| GRPO / GT-OPSD | ALFWorld-14B 成功率 | 82.6 / 82.5 |
| Base → RSD | ScienceWorld-8B 成功率 | 15.6 → 23.4 |
| BoN-16+SFT | ScienceWorld-8B 成功率 | 20.8 |
| Base → RSD | ScienceWorld-14B 成功率 | 12.9 → 20.6 |
| Base → RSD | SearchQA-14B 精确匹配 | 35.4 → 38.7 |
| Harness@Inf | SearchQA-14B 精确匹配 | 41.4 |
相对基座最大的一档是 ScienceWorld-14B,从 12.9 到 20.6,相对高 59.7%。ALFWorld-8B 上 RSD 为 76.6,高于 GRPO 的 75.5;GRPO 用环境奖励,每题 8 条采样,RSD 每题 1 条。14B 家务任务上,GRPO 为 82.6,把金标准轨迹喂给老师的 GT-OPSD 为 82.5,仍高于 RSD 的 79.6。ScienceWorld 没有 GRPO 数字,GT-OPSD 掉到 3.0,16 条候选加成功筛选的 BoN 也只有 20.8 与 20.4。
SearchQA 十轮都在窄区间里。14B 上 Harness@Inf 不训练,推理时把特权上下文塞给基座,精确匹配 41.4,高于 RSD 的 38.7。
8B 消融里,组件随任务换。ALFWorld 去掉教训、反思或未来后见,从 76.6 降到 71.4 至 71.6,去掉先例只到 75.0。ScienceWorld 去掉先例从 23.4 降到 15.1,贴近 Base 的 15.6,去掉未来后见降到 17.6。教训只取成功或只取失败,ALFWorld 为 69.4 与 72.6,低于合用的 76.6。
ALFWorld-8B 第 3 轮的 unseen 成功率:全部刷新 67.9,只刷新教训 69.0,只刷新先例 63.8,冻住第 1 轮上下文是 59.7。
内化看的是进化模型不带上下文,相对基座带上下文。ALFWorld 高 14.5 与 8.9 个点(8B/14B),ScienceWorld-8B 高 3.8,14B 基本打平,上下文加回去还能再加 6.1。SearchQA 没有内化。老师不看好的动作,下一轮概率会下降:第 1 到 2 轮的 Δlog p,ALFWorld 为 −0.384,ScienceWorld 为 −0.696,之后接近 0。
前沿模型改规则后,ScienceWorld 从 23.4/20.6 到 27.5/29.8,14B 相对固定规则再高 44.7%。同预算随机搜索为 23.2 与 25.6,14B 上已高于固定规则,仍低于前沿。ALFWorld 从 76.6/79.6 到 78.4/80.3。去掉探针,ScienceWorld-8B 从 27.5 回到 23.9。四次峰值配置都加了先例条数。
有日志、没有标准轨迹、又不把奖励写进损失时,RSD 把这些交互收进权重。家务和科学任务上,测试不再挂事后笔记,成功率仍高于基座,也高于多采样后只留成功再微调。
这是有边界的渐进改进。检索问答十轮几乎不动,测试时外挂上下文更有用。奖励或金标准轨迹在手时,14B 家务任务上 GRPO 与 GT-OPSD 仍然更高。再高 44.7% 的那一档要另叫 Claude Opus 4.8,并用环境指标决定规则去留。
策略损失里确实没有奖励。先例筛选仍看环境有没有完成,教训也按成功和失败来写。没有成败标签时,这套上下文怎么建,没有测过。
老师每轮都换成最新学生时,ALFWorld-8B 单种子第 7 轮到 80.3,第 9 轮 39.4,第 10 轮为 0。冻在峰值避开了这次崩盘。老师日程和教训来源都是单种子,主表才是三颗种子。
金标准可以差过基座。ALFWorld 上 GT-SFT 为 34.1 与 42.7,Base 为 62.9 与 69.3。原因没有给出。
Reflexion 不更新权重,用额外尝试换分数。三次尝试在多处高于 RSD 的单次结果:ScienceWorld-14B 为 24.1 对 20.6,SearchQA-14B 为 43.6 对 38.7。
先例条数换个环境就变号。8B 取 4 条,ALFWorld 到 78.8,ScienceWorld 降到 20.3。SearchQA 没进前沿规则搜索。