新研究回收奖励饱和数据：让 GRPO 在 Qwen3 上再涨 6.4%-9%
shangbinfeng · x · 2026-10-22
华盛顿大学团队（Ziyuan Yang、Yike Wang、Shangbin Feng、Yulia Tsvetkov）发布论文《Save Your Saturated Data: Learning Beyond Reward Saturation in Group-Based RL》，研究如何从「奖励饱和」的训练数据中继续榨出学习信号。
问题：模型变强后，同一问题的所有采样回答都可能拿到同样高的奖励，组相对优势归零，GRPO 的学习信号变成噪声，原本有用的数据就此报废。
做法：作者在数据、rollout、奖励、优势四个环节系统尝试干预，只用饱和推理数据做 RL 训练。最有效的策略是在 rollout 生成阶段「诱导」策略产出高质量但错误的解答，把这些低奖励 rollout 作为负样本注入饱和组。
结果：
- 该策略在 Qwen3-1.7B 和 4B 上让 GRPO 提升 6.4%-9.0%
- 饱和与非饱和数据混合时也有效（+1.8-3.1 分），并可迁移到 Llama-3.1-8B
- 支持自我进化循环：新解出的题目进入饱和池（80 步新增 443 题），AIME25 成绩从 22.1 升至 32.7
提高温度或加辅助奖励也能恢复非零优势，但收益不如负样本注入稳定。论文与代码均已开源。
所属事件:华盛顿大学新研究:回收奖励饱和数据做 RL,Qwen3 最高涨 9 个点(5 条相关)→
「研究」频道最新
- SophontAI 发布 Holon-S1：从常规病理切片预测基因表达 — iScienceLuvr · 2026-10-22
- Turing Post:神经网络『已被看透』?正反两方激辩可解释性边界 — TheTuringPost · 2026-10-22
- Holon-S1 未训练过骨肉瘤,却从病理切片发现医生确认的靶点 — iScienceLuvr · 2026-10-22
- ATEST 框架：按 GPU 负载动态省 48 倍推理能耗 — Mobina Kashaniyan · 2026-10-22
- 用 Claude 扫描百万点组合，发现四面体「七点球」新定理 — IgorCarron · 2026-10-22
- ROME 攻击:投毒 Python 库可篡改 GPU 上模型权重,改写事实且无痕 — SirJerryLion · 2026-10-22