扰动输入即可改进预训练蒸馏:新论文重演 mixup 式技巧
DimitrisPapail · x · 2026-11-17
新论文《Perturbing Inputs Improves Pretraining Distillation》(作者含 Yihe Dong、Dimitris Papail、Shivam Garg)在预训练蒸馏上只改了一件事:训练前半段让小模型学生和大模型老师都读加噪/扰动后的文本,学生去匹配老师在扰动输入上的 next-token 预测,之后切回干净文本训练。
- 在同样的步数和 token 预算下胜过标准蒸馏,在数据受限、多 epoch 重复数据的场景同样有效
- 配图展示了四种蒸馏设计选择:固定 teacher、独立噪声、一致增强、以及一致增强 + mixup 式线性插值——本质上就是把图像蒸馏里的 mixup 思路搬到了语言模型
- 被 distillation 方法的原作者 giffmana 转发惊呼「这就是我们当年那套」,并承认当年也该在蒸馏后段切回纯样本
所属事件:新研究发现扰动输入可显著提升预训练蒸馏效果(3 条相关)→
「模型」频道最新
- 代码现 upsell 线索:Google 疑似新模型 Neon 定位 Pro 付费档 — testingcatalog · 2026-11-17
- 用户故意用满 Anthropic 本周额度:确保它在我身上亏得更多 — ryunuck · 2026-11-17
- Inkling 2 Small 登顶 ARC-AGI-2 达 81.7%,但 ARC-AGI-3 仅 2.6% — teortaxesTex · 2026-11-17
- Inkling-2-Small 评测:单节点每小时完成 911 个企业任务,成本比 DeepSeek 低 43% — ryanshrout · 2026-11-17
- 媒体团队用 Claude Fable 5.2 扫描会议与 Slack,总结出产品哲学文档 — every · 2026-11-17
- 量化版 Opus 5.5 又出怪事:把「运行命令」说成「打开命令」 — ryunuck · 2026-11-17