Ambient SFT:把预训练模型当噪声教师,SFT 相对提升最高 21%
giannis_daras · x · 2026-11-19
Giannis Daras 提出 Ambient SFT,作为 vanilla SFT 的即插即用替代方案,解决小数据集微调导致的灾难性遗忘问题。
- 核心问题:SFT 训练越久目标任务越好,但遗忘其他能力越严重;early stopping 等正则化只是在这个 trade-off 上选一个点,并不能消除它(实验显示 OLMo-3-7B 训 6 epoch 后 IFEval 升到 80.8,其余 7 个基准均值却从 58.2 跌到 53.6)。
- 方法:把微调前的冻结模型视为一个只能在粗粒度上信任的"噪声教师",要求微调后模型的高温分布与预训练模型的高温分布匹配;温度超参控制对预训练模型的信任程度——T→∞ 退化为普通 SFT,T=1 则是知识蒸馏。
- 效果:在领域适配、指令遵循和推理三类任务上均优于标准 SFT,相对提升最高达 21%。
方法受 Knowledge Distillation 与 Learning Without Forgetting 启发,作者表示还在推进后续工作。
所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→
「研究」频道最新
- Dream-1 微调后真机成绩涨 159%,成本仅为对手 1/100 — paigeinsf · 2026-11-19
- AI 让「活论文」近乎零成本,但耐久性成隐忧 — _akpiper · 2026-11-19
- HiT 图像生成器两天获独立复现:像素端到端学出层级抽象 — niloofar_mire · 2026-11-19
- 144 块 H200 训 18 天:DaisyRose-27B 把 Terminal-Bench 从 5.6% 提到 12.0% — ying11231 · 2026-11-19
- Muon 优化器变体修复后实测:MuonM 略优于 Muon,MuonS 基本持平 — YouJiacheng · 2026-11-19
- GPT 5.6 Sol 发布仅 4 个月,已不够格可靠监督前沿模型 — connoraxiotes · 2026-11-19