Ambient SFT:用温度匹配微调,学新任务不再遗忘旧能力
giannis_daras · x · 2026-11-19
研究者 Giannis Daras 提出新方法 Ambient SFT,直击 SFT 最大痛点:微调学新任务必遗忘旧能力。
问题:常规 SFT 是糟糕的取舍——训练越久目标任务越好,其他能力掉得越多。例如 Qwen3-1.7B 在约 2 万条指令样本上微调,IFEval 涨 21 分,但知识/数学/编程基准最多掉 10 分;early stopping 等正则手段只能选一个折中点,无法消除取舍。
方法(temperature matching):把预训练模型当作「噪声教师」,微调时用 KL 正则让模型在高温采样的「粗粒度」层面匹配教师预测(损失 = SFT loss + λ·KL)。温度 T 是唯一旋钮:T=1 等价经典知识蒸馏,T→∞ 等价 vanilla SFT,最优温度在中间(Python 代码域适应上 T=2.5 最佳)。作者指出这与 Ambient Diffusion 用噪声数据训练的思路相通——LLM 只学高温乱码也能学会写英文。
结果(覆盖 1.7B–14B、Qwen/OLMo/Llama 三家族、域适应/指令微调/推理三类任务):
- 学任务同样好:IFEval +20,同时几乎不遗忘(旧基准只掉 1 分左右)
- 甚至获得新能力:MATH +7、GSM8K +20
- 域适应困惑度较最优基线最高降 26.7%,指令微调平均比 SFT 高 8–20%,推理相对提升 3.5%
所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→
「研究」频道最新
- Dream-1 微调后真机成绩涨 159%,成本仅为对手 1/100 — paigeinsf · 2026-11-19
- AI 让「活论文」近乎零成本,但耐久性成隐忧 — _akpiper · 2026-11-19
- HiT 图像生成器两天获独立复现:像素端到端学出层级抽象 — niloofar_mire · 2026-11-19
- 144 块 H200 训 18 天:DaisyRose-27B 把 Terminal-Bench 从 5.6% 提到 12.0% — ying11231 · 2026-11-19
- Muon 优化器变体修复后实测:MuonM 略优于 Muon,MuonS 基本持平 — YouJiacheng · 2026-11-19
- GPT 5.6 Sol 发布仅 4 个月,已不够格可靠监督前沿模型 — connoraxiotes · 2026-11-19