模型变强后训练数据饱和怎么办?新研究系统探索 RL 学习信号提取
shangbinfeng · x · 2026-10-22
随着模型越来越强,RL 训练数据日益饱和(所有 rollout 都答对,奖励无方差,优势趋零,学习信号枯竭)。这项研究从数据、rollout、奖励、优势四个层面系统实验如何从饱和数据中继续提取有效学习信号:数据层扰动或改写题目、rollout 层生成错误答案、奖励层加入奖励模型或辅助奖励、优势层零填充等。
所属事件:华盛顿大学新研究:回收奖励饱和数据做 RL,Qwen3 最高涨 9 个点(5 条相关)→
「研究」频道最新
- Recursive 用 Eureka Machine 自动造模型,Flint 编程成绩惊艳 — _rockt · 2026-10-22
- Thinking Machines 推出 StableReinforce,解决 off-policy RL 突然崩溃 — LiTianleli · 2026-10-22
- Kaggle 5 万美元征集「正方形装正方形」解法:1000 道题仅 59 题有最优解 — MeganRisdal · 2026-10-22
- RAX 用冻结 LLM 驱动机器人：纯探索零示范，成本仅 Opus 的 1/20 — du_yilun · 2026-10-22
- 视觉表征学习与生成建模走向统一:一篇持续更新的综述梳理四阶段融合 — AllThingsApx · 2026-10-22
- arXiv 新论文:神经元的「海岸线悖论」——测量精度决定计算结构 — tyrell_turing · 2026-10-22