新研究发现扰动输入可显著提升预训练蒸馏效果
一篇题为《Perturbing Inputs Improves Pretraining Distillation》的新论文提出一个类似 mixup 的简单技巧:在预训练蒸馏时对输入加噪,让小型学生模型在训练前半段学习匹配教师模型的输出。实验显示该改动带来显著增益,且在数据受限场景下同样奏效,为模型压缩与知识蒸馏提供了低成本改进方案。论文作者包括 Jack Cai、Yihe Dong、Dimitris Papailiopoulos 等人。
2026-11-16 ~ 2026-11-17 · 3 条相关
- 预训练蒸馏加一点输入噪声反而更优,新论文实测增益显著 — DimitrisPapail · 2026-11-16
- 扰动输入即可改进预训练蒸馏:新论文重演 mixup 式技巧 — DimitrisPapail · 2026-11-17
另有 1 条近重复转述:DimitrisPapail