Georgia Tech 研究熵与置信度辅助奖励可提升小模型自我改进

GeorgiaTech · hf · 2026-11-03

Georgia Tech 论文研究在答案级奖励无法区分「同样正确」推理轨迹时，辅助轨迹偏好能否提升小语言模型的自改进与迁移。作者比较基于置信度（SC）与基于熵（UID-Conj.，结合全局熵变化与局部平滑度）的指标，通过在线奖励增广与正确回答的离线训练（如在 Owen3-1.7B 上 30 步适配）实验。

核心发现：基于熵和置信度的轨迹偏好能在同等正确的轨迹间区分学习价值，在有限监督下改善自我改进效果与下游迁移。