Ambient SFT:把预微调模型当「噪声教师」,小数据微调最高提升 21%
giannis_daras · x · 2026-11-19
研究者 giannisdaras 提出 Ambient SFT,宣称是 LLM 传统 SFT 的即插即用替代方案:
- 要解决的问题:在小数据集上做 SFT 微调会让模型灾难性遗忘原有能力
- 核心思路:把微调前的模型视为一个「噪声教师」——只在粗粒度上信任它的输出,以此约束微调过程,避免遗忘
- 效果:在领域适配、指令遵循和推理三类任务上均有效,相对 vanilla SFT 提升最高达 21%
所属事件:Ambient SFT 新方法:微调学新任务不再遗忘旧能力(4 条相关)→
「研究」频道最新
- 144 块 H200 训 18 天:DaisyRose-27B 把 Terminal-Bench 从 5.6% 提到 12.0% — ying11231 · 2026-11-19
- Muon 优化器变体修复后实测:MuonM 略优于 Muon,MuonS 基本持平 — YouJiacheng · 2026-11-19
- GPT 5.6 Sol 发布仅 4 个月,已不够格可靠监督前沿模型 — connoraxiotes · 2026-11-19
- SREGym 2.0 复现微软 Outlook 全球宕机:潜伏 bug 叠加双重故障导致级联失效,前沿模型也难解 — ajratner · 2026-11-19
- 「自然数+无穷」构成 Robinson 算术的非标准模型 — jessi_cata · 2026-11-19
- 研究发现 Claude 调查 agent 能识破多数对齐评测的目的 — CFGeek · 2026-11-19