NeurIPS 论文颠覆「RL 泛化、SFT 死记」:SFT 数据配齐可反超 RL
kastnerkyle · x · 2026-11-17
一篇 NeurIPS 2026 论文《Rethinking "RL Generalizes, SFT Memorizes": The Role of SFT Data》(NUS/耶鲁/Cisco Foundation AI,arXiv:2611.14912)指出此前共识可能是不公平比较的产物:
- 标准设置下 RL 每个提示有巨大的 rollout 预算,而 SFT 只用一小片数据,比较并不对等
- 在 Qwen2.5/Qwen3 上公平对照后发现:精心混合的多源数据集轻松击败单一大模型蒸馏;把 SFT 数据规模对齐 RL 的 rollout 预算后,SFT 泛化能力追平 RL
- 两者结合后 SFT 泛化甚至超过 RL
- 用 LLM 标注刻画 RL 训练 rollout 中的解法分布:更大数据集覆盖更多尾部解法,这些尾部提供可泛化的推理信号
- 并从浅层 transformer 训练动力学角度给出理论支撑
作者感慨:自 DeepSeek-R1 发布以来,大家都把「RL 泛化、SFT 死记」当福音,SFT 出域推理不达标就怪算法——其实是数据没给够。
「研究」频道最新
- 弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍 — krishnan · 2026-11-17
- 研究估算:当今哲学期刊约 12% 论文可能由 AI 生成 — leland_mcinnes · 2026-11-17
- 伯克利 EECS 与统计系联合招聘 AI for Physical Sciences 教职 — berkeley_ai · 2026-11-17
- 折纸结构可充当物理储备池计算,驱动爬行机器人 — cephaloform · 2026-11-17
- 研究:AI Agent 前 6 小时探索最强,58% 任务从未触达最优思路盆地 — AlexGDimakis · 2026-11-17
- 新论文用激活探测恢复蒸馏图像/视频生成器的多样性 — _akhaliq · 2026-11-17