Base Labs 实验：RL 前 SFT 蒸馏对大模型可能有害无益
cwolferesearch · x · 2026-10-30
Base Labs 研究了 RL 前用教师模型（GPT-5.6-Sol）生成的思维链做 SFT 蒸馏，对 0.6B–8B 的 Qwen 模型随后 RL 训练的影响：
- SFT 确实提升 RL 前的基础准确率，但 RL 后的最终表现未必更好
- 小模型（0.6B/1.7B）从 SFT+RL 中获益明显；大模型（4B/8B）几乎无收益甚至更差
- 增加 SFT 数据量（0.5M–4M tokens）不改变结论
机理：GRPO 需要模型对同一 prompt 产出对错混合的 rollout 才有学习信号。小模型本来解不出题，SFT 教会它部分正确解法，让 RL 得以启动；大模型本就能在多次采样中找到正确解，SFT 不提升此能力，反而降低 next-token 熵、削弱探索多样性，最终拖累 RL。
结论：RL 前是否做 SFT 应按模型规模与初始可解题比例决定，能解出部分题的大模型应跳过 SFT 直接 RL。
「研究」频道最新
- LeRoPE 论文：把 RoPE 频率改为可学习参数，省 3.4% 算力 — eliebakouch · 2026-10-30
- ML Commons 推出「基准即服务」，试图终结刷榜时代 — RexDouglass · 2026-10-30
- Redwood 发布 Screwtape:252 次运行造出 35 个能骗过 Agent 监控器的攻击 — dl_weekly · 2026-10-30
- DCOCO 论文：并行投机解码加速至 6.6 倍，吞吐超竞品 6-23% — burny_tech · 2026-10-30
- Datology AI 提出可控知识截止的合成数据方案,解预训练时间旅行难题 — josh_wills · 2026-10-30
- Grafting 任务向量求和：不到 500 美元给模型做宪法训练 — burny_tech · 2026-10-30