「Ambient SFT」新法:温度匹配防遗忘,较标准 SFT 提升达 21%
giannis_daras · x · 2026-11-19
Giannis Daras 与 Marios Papachristou、Adam Klivans、Antonio Torralba、Constantinos Daskalakis 合作的新论文《Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching》发布于 arXiv(2611.23229)。
问题:后训练(SFT)数据集远小于预训练数据,导致过拟合与数据分布尾部被灾难性遗忘。
方法(Ambient SFT):把冻结的预训练模型当作有噪教师,要求微调后的模型在高温条件分布上匹配教师。温度超参控制对预训练模型的信任程度:T→∞ 时退化为普通 SFT,T=1 时即知识蒸馏。学习信号来自两方面:少量干净样本(高方差)与教师的含噪预测(有偏),温度决定二者平衡。思路借鉴 Knowledge Distillation 与 Learning Without Forgetting。
结果:在领域适应、指令微调与推理任务上全面超越标准 SFT,平均相对提升最高达 21%。作者表示该方向有多个后续工作正在进行。
所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→
「研究」频道最新
- Dream-1 微调后真机成绩涨 159%,成本仅为对手 1/100 — paigeinsf · 2026-11-19
- AI 让「活论文」近乎零成本,但耐久性成隐忧 — _akpiper · 2026-11-19
- HiT 图像生成器两天获独立复现:像素端到端学出层级抽象 — niloofar_mire · 2026-11-19
- 144 块 H200 训 18 天:DaisyRose-27B 把 Terminal-Bench 从 5.6% 提到 12.0% — ying11231 · 2026-11-19
- Muon 优化器变体修复后实测:MuonM 略优于 Muon,MuonS 基本持平 — YouJiacheng · 2026-11-19
- GPT 5.6 Sol 发布仅 4 个月,已不够格可靠监督前沿模型 — connoraxiotes · 2026-11-19