「Ambient SFT」新法:温度匹配防遗忘,较标准 SFT 提升达 21%

giannis_daras · x · 2026-11-19

Giannis Daras 与 Marios Papachristou、Adam Klivans、Antonio Torralba、Constantinos Daskalakis 合作的新论文《Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching》发布于 arXiv(2611.23229)。

问题:后训练(SFT)数据集远小于预训练数据,导致过拟合与数据分布尾部被灾难性遗忘。

方法(Ambient SFT):把冻结的预训练模型当作有噪教师,要求微调后的模型在高温条件分布上匹配教师。温度超参控制对预训练模型的信任程度:T→∞ 时退化为普通 SFT,T=1 时即知识蒸馏。学习信号来自两方面:少量干净样本(高方差)与教师的含噪预测(有偏),温度决定二者平衡。思路借鉴 Knowledge Distillation 与 Learning Without Forgetting。

结果:在领域适应、指令微调与推理任务上全面超越标准 SFT,平均相对提升最高达 21%。作者表示该方向有多个后续工作正在进行。

所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →