Ambient SFT:把预训练模型当噪声教师,SFT 相对提升最高 21%

giannis_daras · x · 2026-11-19

Giannis Daras 提出 Ambient SFT,作为 vanilla SFT 的即插即用替代方案,解决小数据集微调导致的灾难性遗忘问题。

方法受 Knowledge Distillation 与 Learning Without Forgetting 启发,作者表示还在推进后续工作。

所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →