研究:一句通用反馈替代自我批评, hindsight 蒸馏照样涨 3 分

jhzyu · reddit · 2026-10-29

作者团队发布 ACM ICAIF '26 论文,研究多步金融推理的 hindsight 自蒸馏(在 GPT-OSS-20B 上实验):学生模型找出自己第一个出错步骤并写批评,再用一个冻结副本以前缀+批评为条件、在反向 KL 下蒸馏回学生。

关键发现:把模型自我生成的批评换成一句固定的通用反馈,竟同样带来约 3 个点的全部收益;用大 6 倍模型写的批评也没有实质提升。这暗示 hindsight 蒸馏的主要作用是提供位置信息(指明错在哪一步),而非批评内容本身的特权信息。其 Fin-SD 方法在比 OPSD 少 9.5% token 的情况下达到同等效果。论文与代码已开源。