Ambient SFT 新方法:微调学新任务不再遗忘旧能力

研究者 Giannis Daras 联合 Marios Papachristou、Adam Klivans、Antonio Torralba、Constantinos Daskalakis 等提出 Ambient SFT,作为传统 SFT 的即插即用替代方案。该方法把预微调模型当作「噪声教师」,通过温度匹配进行训练,解决小数据集微调导致的灾难性遗忘问题,让模型学习新任务的同时保留旧有能力,相对标准 SFT 最高提升 21%。

2026-11-19 ~ 2026-11-19 · 4 条相关

另有 2 条近重复转述:giannis_daras · giannis_daras