普林斯顿与微软研究:扰动输入可提升蒸馏预训练效果

udmrzn · x · 2026-11-18

普林斯顿与 Microsoft Research 的论文《Perturbing Inputs Improves Pretraining Distillation》发现:知识蒸馏不必只在正常文本上模仿教师——故意破坏输入反而能让学生学到更多。

方法:预训练早期对输入施加三种扰动之一(加性 token 噪声、混合两篇文档、混合相邻 token),让学生在扰动输入上匹配教师预测,其余 token 预算仍用普通蒸馏。

所属事件:普林斯顿与微软新研究:扰动输入可提升预训练蒸馏效果(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →