Ambient SFT 新方法:微调学新任务不再遗忘旧能力
研究者 Giannis Daras 联合 Marios Papachristou、Adam Klivans、Antonio Torralba、Constantinos Daskalakis 等提出 Ambient SFT,作为传统 SFT 的即插即用替代方案。该方法把预微调模型当作「噪声教师」,通过温度匹配进行训练,解决小数据集微调导致的灾难性遗忘问题,让模型学习新任务的同时保留旧有能力,相对标准 SFT 最高提升 21%。
2026-11-19 ~ 2026-11-19 · 4 条相关
- Ambient SFT:把预微调模型当「噪声教师」,小数据微调最高提升 21% — giannis_daras · 2026-11-19
- Ambient SFT:用温度匹配微调,学新任务不再遗忘旧能力 — giannis_daras · 2026-11-19
另有 2 条近重复转述:giannis_daras · giannis_daras