What Does Privileged Information Add to On-Policy Self-Distillation?
XiuYu Zhang, Wei Chow, Junfeng Fang, Zhenkai Liang, Tat-Seng Chua
cs.CL
2026-09-17
AMPLE-Math 用 5319 道题、六种同答案推理视图对照有无参考的 OPSD。Qwen3-1.7B 的大部分涨分来自无参考的跨模式蒸馏，干净解答只再加 1.30 分。
On-policy self-distillation 让一份冻结的自己当教师:教师看见答案或完整解法,学生只看见题目,教师在学生自己的前缀上打分。多给教师一份解答,看起来学生该学到更多。问题是,这比「蒸馏这件事本身」到底多了什么。
已有工作发现,没有本题参考、甚至拿别的题的参考,蒸馏也能涨;结构化提纲有时比全文好。只报相对底座的涨分,分不清参考的贡献和跨模式蒸馏的贡献。标准配方里教师开 thinking、学生关 thinking 做短回答,即使删掉参考,两边的推理模式也不对称。
AMPLE-Math 从 OpenThoughts-114k 抽出 5319 道题,每题六个同答案视图:只给答案、中心方法、要点步骤、润色后的完整解答、叙述摘要、源全文轨迹。长度从 13 到 4916 个 Qwen3 token。按底座直接回答的对错分成三档,训练/开发/测试 1536/192/384。
主实验是 Qwen3-1.7B,LoRA r=64、α=128,100 步;SmolLM3-3B 做跨族对照。教师永远是冻结的、开 thinking 的底座。主配置:学生训练时关 thinking、最多 1024 token,评估时开 thinking。无参考对照删掉特权段落,但教师仍开 thinking,所以它是跨模式自蒸馏,不是两个相同分布对打。损失是教师到学生的前向 KL,逐词项截断在 0.05。正确性对齐、反省标记压力、KL 的时间分配用来诊断教师在学生前缀上到底推什么。
Qwen 上,无参考学生在域内和 AIME/HMMT 外部集都已经明显高于底座,连「答案来自另一题」的对照也涨。第 100 步,只给答案和全文轨迹相对无参考大约 +0.6 分,区间含 0。干净解答三随机种子平均 +1.30,区间 [0.20, 2.41],未过六视图的 Holm 校正。涨分最大的子集,是底座直接回答四次全错、但开 thinking 已有 62% 正确的题。
SmolLM3 上全文轨迹在第 50 步相对无参考 +2.0 分;第 100 步三种配置都掉到底座以下,全文轨迹掉得少一点。同一批学生若改成直接回答评估,Qwen 的无参考和只给答案会超过全文轨迹 10.81 和 5.32 分;SmolLM3 第 50 步全文轨迹从 thinking 评估的 +2.00 变成直接回答的 −10.63。
训练轨迹更能翻盘。教师和参考都不变,只把学生 rollout 换成开 thinking 的长回答,第 50 步三种视图相对底座的涨分全部变成亏损,Qwen 外部集和 SmolLM3 同样。把干净解答换成等长的别题文本,thinking 评估大约掉 2 分。放松「wait/but/check」这类反省标记上的损失,标记使用几乎不变,第 100 步正确率也不涨。把损失窗从开头 1K 扩到 4K 或打散成四段,表面上多 4 分,是因为对照停在第 50 步、新窗停在第 25 步;对齐步数后优势不到 1 分,区间含 0。
做 OPSD 的人不要默认「教师手里的解越完整越好」。Qwen 上跨模式蒸馏已经搬走大部分涨分,参考的额外好处小、而且视图表依赖。学生怎么答、用哪种推理模式训练,比参考写多长更决定迁移方向。特权信息的价值是它给这条跨模式转移多带了什么,不是它揭露了多少解题过程。
证据来自数学题上的短程 LoRA,两个小模型族。六视图里只有干净解答在未校正区间上离开 0,Holm 之后站不住,不能写成「参考普遍有用」。开 thinking 训练同时改了推理模式、长度和被监督的回答比例,三者绑在一起。教师剖面能解释信号,改损失却常常改不动学生行为。外部集每套 30 题,区间宽。