华盛顿大学新研究:回收奖励饱和数据做 RL,Qwen3 最高涨 9 个点
华盛顿大学团队(Ziyuan Yang、Yike Wang、Shangbin Feng、Yulia Tsvetkov)发布论文《Save Your Saturated Data: Learning Beyond Reward Saturation》,系统研究一个日益紧迫的问题:随着模型变强,RL 训练数据不断饱和——所有 rollout 都答对、奖励无方差、优势趋零,学习信号枯竭。研究从数据、rollout、奖励、优势四个层面实验如何从饱和数据中继续提取学习信号。
已确认
- 最有效做法:仅在全部 rollout 都答对的饱和 MATH 题上做 RL,让策略模型自己写出一个错误解法、作为负样本加入组内,效果最好——Qwen3-1.7B 上比 GRPO 高 9.0%,4B 上高 6.4%(8 个数学、推理与指标基准)。
- 消融分析:仅靠非零优势并不够——用假 0 奖励样本做零填充虽能抬高优势方差,但效果不如 GRPO;只替换最终答案也有害;提高温度或改写题目效果不稳定。结论是:有用的负样本需要连贯、可信的完整失败轨迹。
- 混合训练:负样本方法在饱和与未饱和数据混合训练时仍有效,再提升 1.8-3.1 分,AIME25 从 22.1 升至 32.7,并迁移到 Llama-3.1-8B。
- 自我进化循环:新解出的题目加入饱和题池,到第 80 步新增 443 题。
为什么重要
数据饱和是 RL scaling 的核心瓶颈之一。该研究给出可操作的方法,把原本无学习信号的饱和数据重新利用起来,且与未饱和数据混训、跨模型迁移、自我进化循环均兼容,对持续提升强模型的 RL 训练效率有直接参考价值。
2026-10-22 ~ 2026-10-22 · 5 条相关
一手来源
- 新研究回收奖励饱和数据：让 GRPO 在 Qwen3 上再涨 6.4%-9% — shangbinfeng ·
- 让策略自己写错解当负样本:仅用饱和 MATH 题做 RL,Qwen3-1.7B 超 GRPO 9 个点 — shangbinfeng ·
- 饱和数据 RL 再进阶:混入未饱和数据再涨 1.8-3.1 分,AIME25 从 22.1 升至 32.7 — shangbinfeng ·
- 模型变强后训练数据饱和怎么办?新研究系统探索 RL 学习信号提取 — shangbinfeng · 2026-10-22
- 【源头】让策略自己写错解当负样本:仅用饱和 MATH 题做 RL,Qwen3-1.7B 超 GRPO 9 个点 — shangbinfeng · 2026-10-22
- 【源头】新研究回收奖励饱和数据：让 GRPO 在 Qwen3 上再涨 6.4%-9% — shangbinfeng · 2026-10-22
- RL 消融:零填充假 0 奖励样本反而不如 GRPO,负样本需完整失败轨迹 — shangbinfeng · 2026-10-22
- 【源头】饱和数据 RL 再进阶:混入未饱和数据再涨 1.8-3.1 分,AIME25 从 22.1 升至 32.7 — shangbinfeng · 2026-10-22