DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation
Ao Yu, Weibo Gao, Heng Zhou, Linan Yue, Rui Li, Suyi Liu, Yu Yan, Yizhong Zhang, Qi Liu
cs.LG
2026-09-28
在线蒸馏按师生四种对错组合分配 token 反馈,Qwen3 与 Llama 上平均宏精度分别超 OPD 2.58 和 5.98 个百分点。
On-policy distillation(OPD,在线蒸馏)让 student 在自己生成的回复上训练,teacher 逐 token 给一个对数概率差作为反馈权重。这个反馈并不总是可靠:teacher 会在 student 已经答对的题上失败,且四种对错组合的比例随任务大幅波动。Llama 师生对里,student 在 teacher 失败的物理题上答对 9.8%,生物只有 5.9%;化学理解训练回复里双方都错的占 1%,物理计算里高达 34%。
标准 OPD 完全不看对错。实测里,即使 student 回答正确,师生对数比的均值依然是负的(Qwen3 上 −1.31,Llama 上 −0.22),而正确回答占训练回复的 64–69%。OPD 等于在系统性地把 student 已经会的东西往下压。已有修法 OPDVR 按 student 对错门控反馈方向,但 teacher 自己成没成功,用法毫无区别:teacher 失败时,它的逐 token 偏好照样削弱正确回复上部分位置的强化。多任务蒸馏缺一条覆盖全部四种对错组合的统一规则,DuoOPD 补的就是这个空。
核心拆分:student 的对错定反馈方向,师生联合对错定反馈强度从哪来。训练前为每道题缓存并验证一条独立生成的 teacher 回答,之后固定复用;student 每个 update 现采新回复。四种组合共用一条规则:
两个细节有实在依据。方向函数用 Softplus 不用硬门控:门控留在正确回复上的平均权重只有 0.08–0.09,Softplus 下是 0.57–0.65,门控会让大半正确回复几乎不被强化。共享范围选任务内不选全局:各任务对数比尺度不同,跨任务共享在三个混合任务上落后 0.22–0.35 个点。规则只依赖每条回复的结果,不依赖任务,三个混合任务一套超参跑到底,任务只通过各自的 verifier 进入。
主设置为生物/化学/物理(SciKnowEval V2 划分),Qwen3-4B→0.6B 与 Llama-3.1-8B→3.2-3B 两组师生,60 个 update、每 update 48 题、每题一条采样回复,测试取 avg@8,三个种子平均。
| 设置 | OPD | 最强基线 | DuoOPD |
| Qwen3,三科 Macro | 64.39 | 65.81(EOPD) | 66.97 |
| Llama,三科 Macro | 67.28 | 68.68(OPDVR) | 73.26 |
| Qwen3,材料+化学理解+物理计算 | 62.33 | 62.62(ExOPD) | 63.48 |
| Qwen3,物理+IFEval+MBPP | 47.22 | 47.83(OPDVR) | 49.24 |
物理提升最大,较 OPD 涨 3.73(Qwen3)和 7.27(Llama)个点,恰好是「只有 teacher 做对」最频繁的领域(24.8%/14.9%),正是 teacher reference 负责纠正的那一类。按 teacher 对错拆分,student 成功率两头都涨:teacher 会做的题上 1.90/3.86 个点,不会的题上 0.67/2.12。每个设置里最难的任务也由 DuoOPD 拿最高分,且没用任何 worst-task 目标。
消融把来源拆得很清楚:去掉任一条组合规则掉 0.76–1.53 个点;两个「分歧」设计都去掉,Macro 落到 64.56,紧贴 OPDVR 的 64.83。按 student 对错定方向只是必要条件,增益大头来自 teacher reference(单独去掉 −1.49)和任务内权重共享(−0.71)。成本可控:一次性 teacher 缓存占一个 OPD 训练循环 GPU 时间的 30%(Qwen3)/23%(Llama),可跨 student、种子、超参复用;实测训练循环变化 −0.7%(Qwen3)/+7.3%(Llama)。
做多任务蒸馏的团队可以直接拿走一条反馈重塑规则:不动训练循环结构,不需要按任务调参,挂在现有 OPD 实现上即可,代码和缓存数据已开源。Llama 上 5.98 个点的提升对 3B 级 student 不是小数。分析还白送一个诊断结论:任何没做对错验证的 OPD 基线,正确回答大概率正被系统性压低。也要说实话,Qwen3 上 2.58 个点、两个额外混合上 0.86 和 1.41 个点,属于渐进改进;真正的卖点是规则统一带来的免调参,以及在最难任务上的稳定领先。
作者自述的:依赖二元 verifier,写作类开放任务需要支持分级判断的规则;teacher 缓存成本仍有压缩空间;每个混合任务训练与评测同域,向 held-out 任务的迁移没有验证;更长的推理轨迹下探索与自我校正行为未研究。读下来另有两点存疑:五个基线全是 OPD 变体,没有与 GRPO/RLVR 式直接强化训练的对照;student 最大 3B、训练仅 60 个 update,规则在更大模型与更长训练下是否保持,论文没有证据。「student 独对」用均值做共享权重,为什么是均值而非其他聚合,同样没有消融。