RL 消融:零填充假 0 奖励样本反而不如 GRPO,负样本需完整失败轨迹
shangbinfeng · x · 2026-10-22
该推文是对「饱和数据 RL」研究的补充消融分析,指出仅靠非零优势并不够:用假 0 奖励样本做零填充虽能抬高优势方差,但效果不如 GRPO;只替换最终答案也有害;提高温度或改写题目的效果不稳定。结论是:一个有用的负样本需要连贯、可信的完整失败推理轨迹,而不是简单拼凑的错误答案。
所属事件:华盛顿大学新研究:回收奖励饱和数据做 RL,Qwen3 最高涨 9 个点(5 条相关)→
「研究」频道最新
- Recursive 用 Eureka Machine 自动造模型,Flint 编程成绩惊艳 — _rockt · 2026-10-22
- Thinking Machines 推出 StableReinforce,解决 off-policy RL 突然崩溃 — LiTianleli · 2026-10-22
- Kaggle 5 万美元征集「正方形装正方形」解法:1000 道题仅 59 题有最优解 — MeganRisdal · 2026-10-22
- RAX 用冻结 LLM 驱动机器人：纯探索零示范，成本仅 Opus 的 1/20 — du_yilun · 2026-10-22
- 视觉表征学习与生成建模走向统一:一篇持续更新的综述梳理四阶段融合 — AllThingsApx · 2026-10-22
- arXiv 新论文:神经元的「海岸线悖论」——测量精度决定计算结构 — tyrell_turing · 2026-10-22