Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
Md. Ismail Hossain, Humaira Kousar, Isidora Chara Tourni
cs.LG, cs.CL
2026-09-30
OPSD 增益随规模从 3.05 跌到 0.14 分,七成监督落在教师不可模仿的失败轨迹上;OASIS 改为只蒸馏答对轨迹,8B 反超 3.05 分,且无需书面解答。
On-policy self-distillation(OPSD,on-policy 自蒸馏)是训练数学推理模型的廉价路线:同一个模型分饰两角,学生只看题目、采样一条解题轨迹,教师额外拿到参考解答,在轨迹每个 token 位置给出目标分布,学生用 forward KL 逐 token 去贴。比 RL 省 token,比离线蒸馏少分布偏移。但两个问题一直没被拆开看:它要求每道训练题配一份人写的完整解答,而多数可验证数据只有最终答案;教师信号里到底哪个成分在起作用,也没有人量化过。
这篇先诊断再开方。诊断顺带解释了一个尴尬现象:OPSD 的增益随规模衰减,Qwen3 从 1.7B 到 8B,对 base 的提升从 3.05 分掉到 0.14 分,基本归零。
核心诊断工具是恢复实验:把学生的 rollout 截断在 10%–90% 长度处,让模型带不同上下文从断点续写,统计能否续出正确答案。\n
Proposition 1 把这件事形式化:学生看不到参考解答,最优解只能匹配对所有参考取平均后的教师分布,残差是条件互信息 I(A;R|Z),这项不为零损失就压不掉,而且平均分布的熵更高。训练日志吻合:OPSD 后期学生熵从 0.40 升到 0.70,与教师 top-1 一致率从 0.932 掉到 0.888。另一个独立发现(Proposition 2):实现里 per-entry 的 KL 截断(κ=0.05)会删掉被截 token 上教师的上拉力、让梯度反号,实测砍掉 97%/94%(答对/失败)的正 KL 质量,可以解释两种方法后期共有的漂移。
OASIS(On-policy Alignment via Scaffold-Isolated Supervision)的改动很小:损失、教师、prompt、温度、clip 全部照抄 OPSD,只换两个角色。
整个方法只需要每题一个最终答案。和 rejection sampling 的区别在于:验证只决定在哪条轨迹上蒸馏,训练目标仍是教师的 token 分布,不是那条轨迹本身。
Qwen3 三个尺寸,AIME 2024 / AIME 2025 / HMMT 2025 三项平均,指标 Avg@12:
| 方法 | 1.7B | 4B | 8B |
| Base | 37.10 | 59.86 | 62.64 |
| SFT(书面解答) | 35.93 | 58.63 | 62.32 |
| GRPO(同验证器) | 37.70 | 60.46 | 62.87 |
| OPSD | 40.15 | 61.84 | 62.78 |
| OASIS | 40.74 | 63.70 | 65.83 |
诊断独立于方法有价值:OPSD 增益消失不是玄学,是监督分配错了地方,教师最有优势的状态恰恰是学生最学不来的状态。「在教师可模仿的状态上蒸馏」这条准则适用于任何带特权上下文的蒸馏设定。实用层面,OASIS 把数据需求从书面解答降到最终答案,代码单测这类没有标准解答的场景直接可用;代价是把标注开销换成采样开销,在标注贵、采样便宜且好并行的场景划算。
对比全部在 100 步、LoRA 的小预算下进行,GRPO 同预算只有 0.2–0.6 分增益,这远不是 GRPO 的上限,「蒸馏优于 RL」不能从这里外推。
作者自述:只测了竞赛数学和 Qwen3 一个家族,4B、8B 是单次训练运行,生成开销高。读下来还有几点疑问:8B 的 +3.05 头条数字来自单次训练加单次评测,只有 4B 补了三个评测种子,训练侧方差没有量化;KL clip 反转梯度一事论文自己只称作「可能的解释」,两种方法都受影响,没有单独修掉再验证。教师是冻结的初始模型,方法不引入新知识,做的是监督再分配,8B 上增益的残余来源仍值得追问。