Perturbing Inputs Improves Pretraining Distillation
Ziyang Cai, Yihe Dong, Dimitris Papailiopoulos, Shivam Garg
cs.CL, cs.AI
2026-11-09
训练前30%用邻词混合让学生匹配教师在混合输入上的预测,135M验证损失比标准蒸馏再低0.025 nats,0.5B再低0.020,七项zero-shot平均约高1个百分点。
小模型预训练常用蒸馏,学生只在训练文本上对齐教师的下一 token 分布。教师在这些句子之外的预测,学生接触不到。单遍预训练不重复数据,干净文本上的教师分布已经很密,再学一块「文本之外」能不能涨,并不显然。
常见增强打乱的是学生输入,目标仍是原来的下一个 token。有教师以后,扰动输入可以直接交给教师打标,监督对准的是学生真正看到的东西。任务蒸馏和视觉增强里已经这么做过。从零预训练、数据不重复时还有没有增益,这篇才测。
扰动作用在 one-hot 上:每个位置换成少数词表项的稀疏加权和。教师和学生用各自的 embedding 读同一组权重,看到的是同一次扰动,与隐藏宽度无关。损失是温度 1 的 forward KL,全词表,不加 next-token 项。目标全程不变,变的只有前一段的输入。
混合输入离自然文本远,所以只放在前一段,后面回到干净蒸馏。学习率用 WSD,10% 升温,平台跨过切换点,最后 10% 衰减始终在干净输入上。基线只是拿掉扰动段,初始化与数据顺序相同。
学生从随机初始化训。135M 为 SmolLM2-135M 结构,教师 SmolLM2-1.7B,FineWeb-Edu 上 4.2B token。0.5B 为 Qwen2.5-0.5B 结构,教师 Qwen2.5-1.5B,10B token。主实验不重复数据。
135M 上标准蒸馏比 next-token 预测低 0.017 nats。三种扰动都能再低,邻词混合最大。
| 方法 | 对照 | 验证损失 |
| 135M 邻词混合 λ=0.8,前 30% | 标准蒸馏 | −0.025 nats |
| 135M 噪声 σ=0.4,前 50% | 标准蒸馏 | −0.019 nats |
| 135M 平行混合 λ=0.7,前 30% | 标准蒸馏 | −0.018 nats |
| 135M 标准蒸馏 | next-token 预测 | −0.017 nats |
| 0.5B 邻词混合 λ=0.5,前 30% | 标准蒸馏 | −0.020 nats |
| 0.5B 噪声 σ=0.75,前 50% | 标准蒸馏 | −0.012 nats |
| 0.5B 平行混合 λ=0.5,前 15% | 标准蒸馏 | −0.012 nats |
0.025 是 0.017 的 1.45 倍。0.5B 邻词混合另两颗种子为 0.021 和 0.019,配对比标准误 0.0003。
扰动段有最优长度。135M 上两种混合都以 30% 最好,占到 70% 就差过 next-token。噪声宽松一些,50% 最好,75% 仍有用。0.5B 上邻词混合仍是 30%,噪声 30% 与 50% 接近,平行混合 15% 最好、50% 有害。扰动期间落后约 1 nat,大约在总进度 47% 反超,最终低 0.020 nats。
噪声太小几乎不改变教师。0.5B 上 σ=0.4 只让冻结教师的损失升 0.07 nats。σ=1.2 时上升 3.5 nats,学生差过标准蒸馏。最优 σ 在 135M 是 0.4,在 0.5B 是 0.75,靠扫描得到。
消融集中在 135M 噪声,σ=0.4、前 50%。三种子平均降 0.015,种子间最多差 0.008,表里的 0.019 是其中一颗。没有教师时,噪声和平行混合只比 next-token 好 0.003,大约是有教师时的七分之一。邻词混合没有教师,反而差 0.03。只扰动教师能收回约 90%,只扰动学生约三分之一。两边分开做,加总比同时扰动大约高两成。
把目标调软不够。熵从 1.97 升到 2.46 nats,温度或 label smoothing 配到同一熵,最多再降 0.003。更弱的前半程教师也停在 0.003 以内。邻词混合锁在基线同一批 token 上仍降 0.028,略好于 0.025,多读的文本不是来源。随机替换 15% 的 token、只改学生,降 0.013,两边一起改只降 0.003。
重复数据下增益还在。同样 4.2B 预算,前 262M token 跑 16 epoch,weight decay 从 0.1 提到 1.0,标准蒸馏降 0.033,取 10 则发散。这条基线上噪声再降 0.023 与 0.020。无教师时同样噪声只降 0.008。新鲜数据、weight decay 同为 1.0,噪声增益仍是 0.020。
量化测在 0.5B,线性层权重,输出头除外,group 128,激活保持 16 bit。int4 GPTQ 下,邻词混合的优势从 0.020 增到 0.024 nats,平行混合和噪声到 0.017 与 0.015。int4 AWQ 基本不动。int3 round-to-nearest 让标准蒸馏上升 6.2 nats,两种混合只上升 1.2 和 1.5。线性层平均超额峰度约 0.5,两种混合约 0.14。两种混合在 GPTQ int3 上的损伤大约少四分之一,AWQ 下各学生掉得一样多。
lm-evaluation-harness 的七项 zero-shot,0.5B 标准蒸馏平均 52.5%。噪声 53.6%(+1.1±0.4),邻词混合 53.5%(+1.1±0.3),平行混合 52.9%(+0.5±0.3)。SciQ 上噪声从 77.3 到 81.3,邻词混合到 80.9。两种混合的 LAMBADA 各掉约 1 个点。135M 平均最多高 0.6 个点,与标准误同量级。
目标和 token 预算不变,学生仍从零训。135M 多出的 0.025 nats 大于蒸馏相对 next-token 的 0.017。增量比加上蒸馏还大,仍然是渐进改进。
教师侧扰动拿走大部分增益,学生侧大约三分之一。重复数据时,它叠在调好的 weight decay 上。int4 量化之后,损失优势还在。σ、λ 和扰动段都要扫,最优值随规模变。单次运行大约 20 与 90 个 H100 小时。
规模停在 0.5B、10B token。更大的学生或更长的训练里,增益还在不在,论文标为开放问题。最优 σ 从 0.4 变到 0.75,平行混合的 λ 从 0.7 变到 0.5。扰动段拉到 70% 时,135M 上的混合比 next-token 还差。
0.025 来自单次运行。噪声的种子差最多 0.008 nats,多数配置只训一次。135M 上小于约 0.003 nats 的差别,已经落在评估分辨率里。
只扰动教师时,四次取平均的增益从 0.0122 降到 0.0076,和种子波动同一量级。学生并没有学到教师对扰动的局部响应,相关至多约 0.03。重叠式邻词混合差 0.008,因为输入混进了待预测的 token。
135M 下游站不住。0.5B 的 1 个百分点主要在 SciQ,LAMBADA 在掉。int3 抗摔集中在 round-to-nearest,AWQ 下差距消失。