普林斯顿与微软研究:扰动输入可提升蒸馏预训练效果
udmrzn · x · 2026-11-18
普林斯顿与 Microsoft Research 的论文《Perturbing Inputs Improves Pretraining Distillation》发现:知识蒸馏不必只在正常文本上模仿教师——故意破坏输入反而能让学生学到更多。
方法:预训练早期对输入施加三种扰动之一(加性 token 噪声、混合两篇文档、混合相邻 token),让学生在扰动输入上匹配教师预测,其余 token 预算仍用普通蒸馏。
- 从头预训练时,最优方法在 135M 上降低验证损失 0.025 nats、0.5B 上降低 0.020 nats(三种子均值);135M 时增益达蒸馏本身相对 next-token 训练增益的 1.45 倍
- 0.5B 下 7 个任务的平均 zero-shot 准确率提升约 1 个百分点
- 低位量化后优势保留;数据受限复用数据的设定下增益依然存在
- 消融显示加性噪声场景中,扰动教师输入贡献了大部分增益,只扰动学生输入效果差得多
所属事件:普林斯顿与微软新研究:扰动输入可提升预训练蒸馏效果(4 条相关)→
「研究」频道最新
- PNAS 论文:协调失灵的 LLM 团队会放大错误,表现不如单个智能体 — shangbinfeng · 2026-11-19
- 新报告:模型自主完成研究任务的长度正平滑增长 — kliu128 · 2026-11-19
- 独立团队实测验证:Horizon 模型宣称的 SOTA 成绩基本属实 — maksym_andr · 2026-11-19
- AI 智能体自主完成小鼠脑部手术:自选基因疗法、自定脑区、自操作手术台 — HealthcareAIGuy · 2026-11-19
- Johns Hopkins 讲座预告:JEPA 与部分可观测下的因果推断论文 — randall_balestr · 2026-11-19
- Liquid AI 预研:固定内存预算下的设备端持续学习 — agihouse_org · 2026-11-19