Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation
Yugu Li, Zehong Cao, Peizhen Li, Yang Zhang, Siyi Hu, Jianglin Qiao
cs.AI
2026-09-28
DCSD把步骤级信用的方向与幅度拆开,用学生侧信念边际和信息增益校准特权教师;数学整体分88.56,比Qwen3-4B基座高7.16,多模态高7.71。
可验证奖励强化学习(RLVR)只在轨迹终点给 0/1。做对的回复里,错误或多余步骤会被一起加强;做错的回复里,中间有用的步骤拿不到正信用。On-policy self-distillation (OPSD)让同一模型当特权教师,看到标准答案或参考解后再打 token 级对数比,监督更密。方向(该鼓励还是该罚)和幅度(给多少)却绑在同一条教师信号上。教师会把有害步骤判成有用,信号强弱还会随参考写法、模板、摆放位置而漂。
RLSD 和 RLCSD 把方向钉在轨迹级 advantage 上,蒸馏只调节更新强度。成功轨迹里的有害步骤无法拿负信用,失败轨迹里的有用步骤也无法拿正信用。要解决的就是这个两难:既不能把教师当 oracle,也不能放弃步骤级翻号。
Decoupled Credit Self-Distillation (DCSD)把朝哪更新和更新多少拆成学生侧两个量,教师只做步骤内部的 token 分配。
不直接估中间状态成功率,因为 value 网络或 continuation sampling 会引入偏差和方差。信息归因只度量这一步给回复贡献了多少新结构,对错交给信念探针。
数学侧基座 Qwen3-4B、数据 DAPO-17K,指标 mean@4,Overall 是样本加权平均。
| 方法 | AIME24 | MATH500 | HMMT | Overall |
| Vanilla | 65.83 | 88.10 | 26.67 | 81.40 |
| GRPO | 67.50 | 92.20 | 33.33 | 84.70 |
| OPSD | 50.00 | 88.60 | 26.67 | 80.11 |
| RLSD | 63.33 | 91.00 | 33.33 | 83.86 |
| DCSD | 68.33 | 96.00 | 36.67 | 88.56 |
DCSD 的 Overall 是 88.56,相对 Vanilla 的 81.40 高 7.16,相对 OPSD 的 80.11 高 8.45。摘要把 8.45 写成「相对基座」,主表里这个差值对应 OPSD。AMC23 从 92.50 到 95.00,AIME26 从 52.50 到 59.17。OPSD 在三套 AIME 上都低于 GRPO。
多模态基座 Qwen3-VL-8B-Instruct。除 DCSD 外,数字引自 RLSD 论文同一设置。
| 方法 | MMMU | WeMath | ZeroBench | Overall |
| Vanilla | 62.44 | 54.10 | 19.76 | 53.43 |
| RLSD | 67.22 | 58.00 | 24.85 | 58.19 |
| DCSD | 68.44 | 67.05 | 20.66 | 61.14 |
Overall 61.14,比 Vanilla 高 7.71,比 RLSD 高 2.95。WeMath 从 58.00 到 67.05。ZeroBench 掉到 20.66,低于 RLSD 的 24.85。
训练 reward 和 GRPO、RLSD 接近,验证准确率更高。方向校正大约覆盖 6% 的 token,失败轨迹里的正校正和成功轨迹里的负校正都有。幅度侧平均绝对 advantage 缩小 1.50 倍(Δ=0.193)。相对 RLCSD,六项未加权 Pass@1 和 Pass@4 均值分别高 4.02 和 3.74 个百分点,生成长度短 6.3%。AIME26 的 Pass@1 是 56.67,低于 RLCSD 的 60.00。
在 90 道 AIME24-26 的固定回复上只改特权信息,用条件对齐的 Qwen3-32B 当代理参考。五种条件(无答案、正确答案、错误答案、等价形式、带解答)下,DCSD 的 Top-1 分歧率均值 9.82%,低于 OPSD 的 12.12% 和 RLSD 的 10.16%。
跑 on-policy 自蒸馏时,教师 log-ratio 不能整段拿来当步骤 advantage,只适合做步骤内的分配权重。方向交给学生对正确答案的信念变化,幅度交给隐状态里新信息的多少。对已经在 verl 上跑 GRPO 或 OPSD 的 4B-8B 推理训练,这是一套 credit 重写,数据和 rollout 预算可以不动。
增益仍是渐进的。6% 的方向翻转说明大多数步骤仍跟轨迹符号走,更可能的贡献是把冗余步骤的幅度打下来。
结论只点了更长程、交互式推理。正文里已经有几处硬约束。
信念探针必须拿 gold answer 当打分目标,属于 verifier-anchored,不是无监督过程奖励。定理 2 的 oracle 一致性还要求 readout 误差 Ξk 小于阈值;论文写明在线探针并不估计 Ξk,经验阈值过了不等于每步都 certified。
信息增益给的是期望平方 advantage 的上界包络,不是逐点恢复 |Ak|。多模态基线没有在同一组实验里重跑。ZeroBench 掉点被归因于视觉感知错误,credit 校准补不上。Qwen3-32B 只是更强模型参考,不是 oracle。主文没有把探针、信息增益、教师分配三项拆开的消融表,无法从主表判断每块贡献多大。规模只做到 4B 与 8B。