Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
Haoxiang Zhang, Qinglin Chen, Hiroaki Hayashi, Zhuofeng Li, Siming Zhang, Jiaxin Zhang, Jixuan Chen, Fang Wu, Pan Lu, Silvio Savarese, Julian McAuley, Chien-Sheng Wu
cs.AI, cs.CL, cs.IR, cs.LG
2026-10-06
SRD 把每条轨迹的事后复盘蒸馏成行动前预判,作为辅助损失叠加在 GRPO 与自蒸馏上,10 个 agent 基准最高提升 24.2 个百分点。
RLVR 训练通常用 GRPO 这类组相对目标:同一道题采一组 rollout,奖励在组内减均值除标准差得到 advantage(优势)。整组全对或全错时,每条 advantage 都是零,标准实现直接丢掉这组重采样。长时序 agent 任务大多数尝试都失败,被丢的组占了采样预算的大头。论文在四个 Qwen3.5 规模上实测:reward-uniform(整组同分)组占比 37% 到 98%,可用预算从不超过 63%,而且呈 U 形:弱模型全是全错组,强模型全是全对组,扩规模只是把浪费从失败端挪到成功端。
全失败的轨迹里明明有「这题怎么死的」的结构化信息,GRPO 一点都取不出来。这是设计盲区,不是实现 bug。
SRD(Self-Retrospection Distillation)的思路是用事后经验监督事前预测:不教模型「下一步做什么」,教的是「动手前本可以预判什么」。
消融给出一个反直觉的默认配置:只蒸馏 pitfall(坑)单通道。knowledge 通道的训练散度基本不降(约 0.0045 持平,pitfall 降 30-47%),偶有反效果,还更贵——rollout 阶段占一步训练时间的 78-87%。
10 个基准覆盖数学、代码、搜索、agent 四类,模型 Qwen3.5-4B/9B-Thinking,avg@8 通过率:
| 设置 | 基线 | +SRD | 提升 |
| 9B OPSD,AIME26 | 52.92 | 77.08 | +24.16 pp |
| 4B GRPO,数学三基准均值 | 46.22 | 56.25 | +10.03 pp |
| 9B OPSD,数学均值 | 39.70 | 56.92 | +17.22 pp |
| 9B RLSD,ALFWorld | 66.25 | 77.25 | +11.00 pp |
对三类基础目标、两档规模普遍为正,唯一回退是 9B OPSD 的 WebShop(−3.61 pp)。训练用 stdin 格式代码题、评测用函数式编程题,迁移设置下依然有效;BrowseComp-Plus 的交互轮次比训练长 10 倍以上,六个设置五个提升,最高 +9.52 pp。
最硬的一条来自只训代码域的隔离实验:2B 模型 98% 的组全失败,GRPO 训到 0.0% 成功率(峰值 1.6%),同预算加 SRD 到 60.6%(训练成功率)。
两个补充发现。纯自蒸馏在 9B 上多项基准低于未训练模型(HotpotQA 低 5.50 pp),加 SRD 后恢复正常排序,HotpotQA 反超未训练模型 10.75 pp。token 级分析显示 SRD 没让模型多说话(净变化 +0.6 token/rollout),是把预算从内联算式(−6.7)挪到命名问题结构和计划语言(+3.7),工具调用语法不动。
RLVR 训练里被扔掉的 reward-uniform 组是白烧的算力,SRD 把它们变成学习信号。代价可控:4B 上每步耗时从 197 秒到 217 秒,约多 10%,推理零开销,且不改基础目标。弱模型或难任务上 RLVR 冷启动失败(梯度全零)是常见场景,2B 实验说明这种场子可以救。在 reward 对比正常的设置里,它是普遍为正的叠加项,不是替代。
论文自己承认的点:RLSD 下加 knowledge 通道在 ALFWorld 反降 6.88 pp,这组消融只有两个目标、一个规模、单 seed,作者自己标为猜想;推理期显式生成预判基本无效,四个 checkpoint 里一个 +5.00 pp,其余等于没动,而且错误预判会 condition 整个 episode,附录 F.3 给了实例;伦理声明写明蒸馏自身 hindsight 可能固化 base model 的错误与偏差。
读下来还有几处要打折。主实验只覆盖 Qwen3.5 一个系列;2B 的 60.6% 是训练成功率,不是 held-out 成绩;hindsight 教师就是同一个 EMA 模型,教师质量的上限没被测过;ALFWorld 分任务看全是 trade-off,八个 arm 没有一个把六类任务全提上去,均值掩盖了这一点。