新研究发现扰动输入可显著提升预训练蒸馏效果

一篇题为《Perturbing Inputs Improves Pretraining Distillation》的新论文提出一个类似 mixup 的简单技巧:在预训练蒸馏时对输入加噪,让小型学生模型在训练前半段学习匹配教师模型的输出。实验显示该改动带来显著增益,且在数据受限场景下同样奏效,为模型压缩与知识蒸馏提供了低成本改进方案。论文作者包括 Jack Cai、Yihe Dong、Dimitris Papailiopoulos 等人。

2026-11-16 ~ 2026-11-17 · 3 条相关

另有 1 条近重复转述:DimitrisPapail