RL 增益集中在简单题，Never Give Up 采样法攻克难题
teortaxesTex · x · 2026-09-16
Nat Lambert 等人发现 LLM 的强化学习收益主要集中在简单问题上，团队称之为「RL 的马太效应」，并在论文与博客中给出数据支撑。针对这一问题，他们提出一个朴素的扩展思路：当 GRPO 采样组内全部补全是错误答案、梯度为零时，以约 0.9 的概率继续追加采样，寻找能产生非零梯度的批次。这个被命名为「Never Give Up」的方法配合异步 RL，让模型把更多算力分配到更难的题目上，实测有效。
所属事件:研究发现 RL 马太效应：涨分集中在简单题，NGU 采样破局(4 条相关)→
「研究」频道最新
- Adobe 与 UCLA 提出 Tev：用可验证进度奖励破解长程 Agent 训练难题 — jiqizhixin · 2026-11-02
- 老招新用：path tracing 加 portal 采样，64spp 噪点显著下降 — ssh4net · 2026-11-02
- Marcel Böhme 提出漏洞引导加固哲学：为何安全永远无法一劳永逸 — mboehme_ · 2026-11-02
- Perplexity 开源研究型基准 WANDR：500 任务、17 万条证据点 — thisguyknowsai · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02
- 蚂蚁团队发布统一反伪造模型，AI视频鉴伪达96% — inclusionAI · 2026-11-02