DeepMind 提出 TailSFT：微调阶段为 RL 提效的轻量方法
canondetortugas · x · 2026-09-12
DeepMind 研究者 Sadhika Malladi 等提出 TailSFT，一种轻量且有原则的 SFT 改进方法，直接提升覆盖度并获得更好的 RL 后表现。
- 背景：RL 训练昂贵，每一步都应物尽其用；该团队一年前已证明交叉熵 SFT 并非 RL 前的最佳准备方式。
- 做法：为每个样本记录 SFT 前的初始 loss L0；SFT 过程中，把相对 L0 提升最大的样本从反向传播中剔除（排序切片或乘零），因为这些样本模型已基本学会，再训只是浪费。
- 效果：获得对 k>1 更好的 pass@k 起点，从而提升后续 RL 性能。
- giffmana（Lucas Beyer）评价方法简单直观。
所属事件:DeepMind 与普林斯顿提出 TailSFT：为 RL 提效的微调新法(3 条相关)→
「模型」频道最新
- 用户吐槽 Linux 版 Codex 应用像没人管的养子,体验糟糕 — eigenron · 2026-10-31
- Kimi 支持俄罗斯 Mir 卡直接付款，订阅 Pro 无需中介 — teortaxesTex · 2026-10-31
- Nat Lambert：开源模型或是维系 AI 生态的关键粘合剂 — natolambert · 2026-10-31
- Gemini 4 Carbon 登顶 APEX-Agents 榜首,唯一均值破 90% 的模型 — Swarooprm7 · 2026-10-31
- Sarvam 为印度开发本地推理版 opencode,遭网友吐槽「本地」定义 — kingslyj · 2026-10-31
- MiniCPM-OCR 1.3B 模型每分钟可处理 128 页，2B 校验模型接近 397B 巨兽 — haider1 · 2026-10-31