新论文挑战「RL 会泛化、SFT 只会记忆」共识

josh_wills · x · 2026-11-18

自 DeepSeek-R1 发布以来,「RL 负责泛化、SFT 只能记忆」几乎成了行业默认假设,SFT 在域外推理上跑不动时大家一律怪算法。一篇新论文通过在 Qwen2.5 和 Qwen3 上做公平对照实验发现:标准评测里 RL 每个 prompt 可用大量 rollout 预算探索,而 SFT 只用一小片数据训练,比较本身就不公平。论文还指出,只要混合多种数据源(而非从单一教师蒸馏)、把数据规模做大,SFT 的泛化能力可以和 RL 一样好。多位从业者据此认为,mid-training 与 SFT 的边界正变得没有意义,高质量、多样化的数据始终是最佳选择。

所属事件:新论文挑战「RL 泛化、SFT 只会记忆」行业共识(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →