iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs
Ahmed Khaled Khamis, Xiaotong Ji, Hassan Jaber, Rasul Tutunov, Matthieu Zimmer, Jun Wang, Haitham Bou-Ammar
cs.LG, cs.AI
2026-09-21
iSDFT 在每个 token 把教师当有预算的信息源，求距学生最近且满足信息约束的目标，再锚回冻结基座。四个骨干两个任务上，8 组里 7 组胜过原版 SDFT，73% 评测掉分不超过 0.5。
LLM 特化常用演示样本做监督微调（SFT），但训练走专家轨迹、上线走模型自己的轨迹，分布对不上。On-policy self-distillation fine-tuning（SDFT）让学生自己滚前缀，再把同一前缀加上演示喂给教师，用教师的 next-token 分布当蒸馏目标。训练位置对了，教师强度却没有旋钮：每个 token 都要把学生推到完整教师分布，对应局部稳定-可塑权衡里的最大可塑端点。
演示一旦大幅改写当前预测，学生会被整段拽走；演示几乎没新信息时，学生仍被要求匹配完整教师。两种情况共用同一个全量目标。
iSDFT 把教师当成有预算的信息源。对学生分布 P 和演示条件教师 T，定义每个词的信息方向 η(v)=log T(v)/P(v)。候选目标 Q 的教师信息量是 Q 对 η 的期望。给定预算 γ，求在 I(Q)≥γ 约束下离 P 最近（KL）的 Q。
约束生效时，闭式解是指数族路径：Q(v) ∝ P(v)^{1-λ} T(v)^λ。λ 由预算用一维二分法解出，不是手调插值系数。学生和教师已经很接近时，同样的 λ 几乎不动分布；分歧大时，同一 λ 会把质量大幅搬过去。按信息量选 λ，才能让「传多少」在不同 token 上有同一套单位。
绝对预算不好跨 token 共用，于是 γt = ρ · KL(T||P)，ρ 从 0.25 线性升到 1，共 150 步。局部保守仍挡不住累积漂移：每步相对当前学生很小，走完一串更新仍可能离预训练很远。所以再加一项 μ KL(Pbase || P)，μ=2×10^{-3}，把冻结基座当长期锚。教师用学生的指数滑动平均，α=0.01。训练统一 4 个 epoch，AdamW 学习率 2×10^{-5}，batch size 32。
四个骨干（Qwen2.5-7B-Instruct、Qwen3-1.7B、Gemma-4-E2B-it、OLMo3-7B-Think）各自在 Tool Use 和 Science 上特化。对照包括 SFT、DFT、InfoSFT、SDFT、TAID、EOPD、β-OPSD。相对原版 SDFT，8 组里 7 组更高、1 组持平，平均 +2.7 分。
| 骨干 | Tool Use：iSDFT / SDFT | Science：iSDFT / SDFT |
| Qwen2.5-7B | 72.1 / 70.1 | 68.4 / 64.4 |
| Qwen3-1.7B | 52.5 / 52.5 | 56.8 / 54.2 |
| Gemma-4-E2B | 59.7 / 55.6 | 67.4 / 66.0 |
| OLMo3-7B | 54.6 / 50.5 | 17.1 / 13.6 |
保留评测用原 SDFT 套件（HellaSwag、MMLU、TruthfulQA、WinoGrande、HumanEval、IFEval），4 骨干 × 2 任务 × 6 基准 = 48 次。iSDFT 相对基座的 Δ 中位数 −0.05、IQR 1.45，SDFT 是 −0.25 / 2.10。掉分不超过 0.5 的比例 73%，最强对照 52%。
额外十个数学、代码、竞赛题上，iSDFT 在全部十项拿到相对基座的最大平均增益：MATH-500 +11.8，AIME24 +9.6，AMC23 +9.4。GSM8K 所有方法都掉，iSDFT 掉得最少（−1.8）。配对比较里对 SDFT 是 59:15。
Qwen3-1.7B 上先 Tool Use 300 步再 Science 300 步，终局 iSDFT 55.8 / 50.5，SDFT 53.4 / 49.4；切任务后 Tool Use 遗忘几乎一样（2.0 vs 2.1）。消融里信息预算管特化，冻结锚管保留（32 项里 26 项更好）。Qwen2.5 Tool Use 每 epoch 44.4 分钟，SDFT 38.1 分钟。
想用演示把模型特化、又不想把通用能力洗掉的人，这篇给了一套可算的旋钮：先定「这个 token 该吃多少教师信息」，再选离当前学生最近的目标。实现上多一次冻结基座的无梯度前向，外加在已有 logprob 上做二分，不增加 rollout。
这是渐进改进，不是换掉 SDFT 的新范式。OLMo3 的 Science 上 InfoSFT 仍是 61.9，iSDFT 只有 17.1，on-policy 蒸馏在这个骨干-任务组合上本身就弱。序列任务上遗忘量也没明显压下去。适合已经在跑 SDFT、愿意多付一点训练时间换更稳保留的团队。
信息预算目前是全局日程，没有按不确定度或遗忘量自适应。作者把这件事列为最重要的后续。
序列实验只有 Qwen3-1.7B 一条轨迹，没有重复、没有误差带。竞赛数学的增益要打折：附录显示不少 AIME 回答撞上 4096 token 预算，OLMo3 基座 AIME24 只有 3.3，和模型卡差一截，格式和长度伪影可能掺进来。
OLMo3 Science 说明「改进 SDFT」不等于「在所有骨干上都是最强特化方法」。对照里 TAID、EOPD 用的是更大的固定教师，iSDFT 用的是同尺寸 EMA 教师，公平性并不完全对齐。