Ambient SFT:用温度匹配微调,学新任务不再遗忘旧能力

giannis_daras · x · 2026-11-19

研究者 Giannis Daras 提出新方法 Ambient SFT,直击 SFT 最大痛点:微调学新任务必遗忘旧能力。

问题:常规 SFT 是糟糕的取舍——训练越久目标任务越好,其他能力掉得越多。例如 Qwen3-1.7B 在约 2 万条指令样本上微调,IFEval 涨 21 分,但知识/数学/编程基准最多掉 10 分;early stopping 等正则手段只能选一个折中点,无法消除取舍。

方法(temperature matching):把预训练模型当作「噪声教师」,微调时用 KL 正则让模型在高温采样的「粗粒度」层面匹配教师预测(损失 = SFT loss + λ·KL)。温度 T 是唯一旋钮:T=1 等价经典知识蒸馏,T→∞ 等价 vanilla SFT,最优温度在中间(Python 代码域适应上 T=2.5 最佳)。作者指出这与 Ambient Diffusion 用噪声数据训练的思路相通——LLM 只学高温乱码也能学会写英文。

结果(覆盖 1.7B–14B、Qwen/OLMo/Llama 三家族、域适应/指令微调/推理三类任务):

所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →