Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models
Ayan Sengupta, Vaibhav Seth, Tanmoy Chakraborty
NeurIPS 2026
cs.CL
2026-09-29
CaRE-KD 按师生置信度逐 token 切换 KL 方向、跳过教师更不可靠的批次,11 个基准上稳定胜过静态散度基线,MBPP +2.1。
知识蒸馏(Knowledge Distillation,让小模型对齐大模型的输出分布)默认教师是个可靠 oracle。这个假设在 LLM 上撑不住:教师会给出高熵预测、会幻觉，而 Forward KL 是 mean-seeking 的，会逼学生把概率质量摊到教师的长尾预测上，学生本来校准好的先验反被冲掉。
论文先做了测量(Figure 1):OpenLLaMA-7B 蒸 3B、Dolly-15k、Skewed-RKL 训练下，教师准确时监督带来中位数 +4% 的提升，教师自己不确定时掉到 +0.5%,而这种时候学生的先验不确定性往往比教师还低。标准 KD 照旧逼学生对齐，等于拿不可靠的信号覆盖正确的先验，作者把这个失败模式叫 Fidelity Trap。已有的修补(Reverse KL、Skewed KL、α-β 散度)把几何偏好固定死在训练全程，分不清这个 token 教师靠谱、下个 token 教师在胡说。
CaRE-KD 是两个粒度的组合:
梯度分析给出软门控独有的「选择信号」：教师相对不确定时，这一项会显式推高学生的置信度；命题 3.2 证明任何全局 λ 的 Skewed KL 或全局 β 的 α-β 散度都无法复现这种逐 token 变化的梯度。
8 组师生对、11 个基准，覆盖指令跟随、聊天对齐、代码、数学，对照包括 FKL、RKL、SRKL、α-β 以及 MiniLLM、GKD、Distillm、ABKD。
| 对照 | 指标 | 结果 |
| vs Forward KL(OPT-125M) | 平均 ROUGE-L / 事实性 | +3.2 / +3.0 |
| vs Skewed-RKL(MBPP) | pass@1 | 62.4 vs 60.3(+2.1) |
| vs Skewed-RKL(GSM8K) | 准确率 | 73.9 vs 72.2(+1.7) |
| vs 最强基线(CollegeMath) | 准确率 | 46.1(+1.8) |
| vs Skewed-RKL(事实性) | LLM-judge | 单任务最高 +2.5 |
论文自己给的读法是：优势在鲁棒性，不在处处第一。五组指令跟随师生对里四组平均分最高，总平均 20.1,次优的 SRKL 是 19.8。更有信息量的是最差情形：FKL 在 OpenLLaMA 上落后最佳 4.1 分，RKL 在 GPT2-large 上落后 3.0,CaRE-KD 在任何一对上的最差差距是 0.2。败仗也明写：Gemma-2-2B 在 Dolly 上 17.0 对 19.7;OpenLLaMA 那对 26.23 对 Distillm 的 26.41,差距小于种子间标准差，算平手。适用边界同样清楚：教师越不可靠、压缩比越大收益越明显(GPT2-XL→base 约 15 倍、OPT→125M 约 22 倍)；教师又强又校准、只压 2.3 倍时，静态 mode-seeking 已经接近最优。
Revival 单独拆开测(Table 2):叠到 FKL、RKL、α-β、SRKL 上平均都涨，配 CaRE-Divergence 最稳(单样本 t 检验 t=3.98,p<0.001);叠在静态目标上方差大，RKL 在 GPT2-large 的 Self-Inst 上掉 1.78。消融显示跳过率 50-70% 最优、τ 递增调度最优、MC 采样 3 次就够。
不确定性分布(Figure 4):Self-Inst 上教师平均 BALD 0.52,蒸馏后的学生 0.077;标准 SRKL 只让学生不确定性分布挪动 0.4%(KS 距离)，CaRE-Divergence 单独 2.4%,加上 Revival 到 7%,token 级 loss 是主驱动、Revival 是放大器。
蒸馏是小模型获得能力的标准工序。这篇把「教师不一定可靠」从直觉变成可测量的失败模式，修法不换数据、不加辅助模型，只改 loss 加一条更新规则。Revival 是 loss 无关的插件，可以直接叠进现有蒸馏管线。对做端侧模型、领域模型压缩的团队，这是改动小、可独立验证的增量。定位要摆正：单点增益多在 1-3 个点，卖点是到处不输，属于渐进但扎实的改进。
作者自己承认两头。一是算力：BALD 每批要多跑 N 次随机前向，指令跟随场景 N=3 墙钟 +42%,代码场景最高 +170%,作者明确写了不再把开销称为 modest,只适合离线一次性蒸馏，不适合超大教师、长序列或在线更新。二是把单次熵当 BALD 代理依赖 Sharpness Hypothesis(交叉熵训练的 LLM 单次采样足够尖锐)，开放式生成里这个假设会松动。
读下来还有一处没证死：Revival 是否真挑中了幻觉区域。Revival 触发时教师事实性 25.2、不触发时 28.6,Wilcoxon p=0.06,补充分区检验 p=0.26,都不显著；作者退回到「学生端到端事实性确实提升」这个较弱的结论，诚实，但机制层面的故事还差一口气。另外主要增益集中在小模型重压缩设置，教师又强又准时基本平手，外推到蒸馏前沿大模型的收益目前没有证据。