Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD
Yibo Zhao, Zixuan Yang, Yunshi Lan, Xiang Li
cs.LG, cs.AI
2026-09-24
按教师 RL 前后两版分布的 JSD 只留 10% 状态做蒸馏监督,八组设置七组提升、一组打平,平均 +0.95 分,零额外前向开销。
大模型做 RL post-training 贵,模型越大越贵。Direct-OPD 和 Proxy-OPD 给出一条弱到强的绕行路线:在 1.5B 小模型上跑 RL,取 RL 前后两个 checkpoint 对每个 token 的 log-ratio 当 reward,在大模型自己 rollout 的每个位置做密集监督。大模型因此不用自己跑 RL,也不需要比它更强的 teacher。
漏洞在 log-ratio 只度量相对变化。论文给出一个精确构造:让 RL 前后两个 checkpoint 都只把 ε 的概率质量分给学生的 top-K 候选,其余质量挪到词表其他位置,则每个候选的 log-ratio 和 Direct-OPD 的梯度都一动不动;两个 checkpoint 之间的 JSD 与两个方向的 KL 却随 ε 线性缩小,ε 趋零时归零。RL 几乎没碰过的状态和 RL 大改过的状态,可以拿到同样大的更新。而 JSD 小就意味着 teacher 行为几乎没变(Pinsker 不等式),这些位置的监督是否值得给,就成了问题。
S²D-OPD 一句话:用 Direct-OPD 本来就要前向算出的概率,顺手算一个散度,把每条回复里散度最低的 90% 状态的监督整个砍掉。
几个设计选择的理由。用 JSD 而非 KL:它对称、有 log 2 上界、一方概率为零时仍有限。在候选集上算而非全词表:两个 checkpoint 的概率 Direct-OPD 本来就算过,分数零额外前向。消融显示这些选择不承重:forward KL 结果几乎重合,保留率 5% 到 20% 峰值验证精度波动小于 1 分。论文还举了个直观例子:某状态的采样 token log-ratio 在整条回复 8192 个状态里幅度最大(-8.625),JSD 只有 0.044、低于 0.067 的保留线,照样被砍。散度和 reward 幅度排出来的顺序确实不同。
两组 teacher(R1-Distill-1.5B→JustRL-1.5B、Nemotron-1.5B→QuestA-1.5B,前后 checkpoint 均公开,作者没自己跑 RL),四个学生(Qwen3-1.7B/4B/8B、R1-Distill-7B),Skywork-OR1 数学子集,8 张 H200 各训 300 步。checkpoint 在 AIME24/25 上选,在 AIME26 加两场 HMMT 共 93 道留出题(全部晚于学生模型发布)上评测,Avg@32。
| 学生 × teacher | 稠密 Direct-OPD | S²D-OPD(留 10%) |
| Qwen3-1.7B × JustRL | 36.4 | 37.6 |
| Qwen3-4B × JustRL | 53.5 | 53.7 |
| Qwen3-8B × JustRL | 56.5 | 56.7 |
| R1-Distill-7B × JustRL | 40.5 | 40.5(平) |
| Qwen3-1.7B × QuestA | 36.5 | 38.1 |
| Qwen3-4B × QuestA | 54.6 | 56.2 |
| Qwen3-8B × QuestA | 55.4 | 57.1 |
| R1-Distill-7B × QuestA | 37.6 | 38.6 |
八组合并做配对 bootstrap 加符号翻转检验:46.36% 升到 47.31%,+0.95 分,95% CI 0.40–1.54,p=6.4e-4。
信息量最大的是分档实验(Qwen3-1.7B,JustRL)。随机留 10% 状态,峰值验证精度 51.2,与稠密监督的 51.3 打平,直接支持了 OPD「data-overfed but algorithm-starved」的判断。把状态按 JSD 分十档、每档单独训一个模型:性能随分位单调上升,最高档 52.9;最低三档收在初始学生之下,最低两档直接崩掉。十一组子集的增益与保留状态的平均 JSD 呈对数线性,R²=0.97。
还有一个反直觉交叉验证:JustRL 整体 JSD 比 QuestA 高,砍监督的收益却反过来 QuestA 更大(1.0–1.7 分对 0.0–1.2 分)。若收益来自「集中到高散度位置」,顺序应当相反。结论指向:mask 的价值在滤掉有害的低散度监督,不在挑散度最高的。
weak-to-strong 迁移是绕开大模型 RL 成本的现实路线,这篇证明其中逐 token 密集监督约九成冗余,剩下的还混着有害样本:低散度档单独训练会把学生压到初始水平以下。改动近乎免费,不加前向、不改目标函数,只是盖掉 90% 的位置,在用 Direct-OPD/Proxy-OPD 类管线的团队可以直接搬。
也要说清:+0.95 分是渐进改进,远小于从初始学生 +5 分的那一步。更值钱的是诊断结论,低散度监督不只冗余、还有破坏性,这一点对理解 OPD 比榜单那一分有用。
作者自列四条:JSD 只量变化幅度、不判对错,案例里 RL 把「R1=6 是奇数」这个错误判断的概率推高 0.41,该状态照样被保留;分数不看学生需要什么,学生已学会的状态同样占预算;规模止步于 1.5B teacher 到 8B 学生、可验证奖励的数学推理,代码与 agent 任务未测;算力所限每个配置只训一次,置信区间反映题目间方差而非种子方差。
读下来再补两点:没有与 Proxy-OPD 或 ExOPD 的直接对照,对手只有稠密 Direct-OPD;八组里四组提升在 0.2–0.4 分量级,单次训练下逐组看并不牢靠,显著性是八组合并出来的。