研究揭示 RL 的马太效应：涨分多在简单题，NGU 自适应采样破局
vwxyzjn · x · 2026-09-16
Noukhovitch、Ivison、Lambert、Courville 等人的 arXiv 论文发现：RL 训练 LLM 的收益分布极不均衡——模型已擅长的简单题提升巨大，难题提升微小。作者称之为 RL for LLM 的「马太效应」。
他们指出 naive 解释是难题需要更多算力找解，但现代 RL 方法其实把大量算力浪费在简单题上；应动态重分配采样算力。
提出 Never Give Up（NGU）：一种自适应采样方法，对一个问题持续生成样本直到出现正确解。结合异步 RL，简单题自然被快速过滤，难题获得更多算力。论文还给出 off-policy 鲁棒性等设计选择的最佳实践。在 Deepscaler 数学基准上 NGU 提升了单位算力性能（尤其难题）；在编码基准 Manufactoria 上，标准 GRPO 配 per-test reward 无法完全解决难易混合的测试，NGU 则逐步攻克更难的测试直至完全解题。
所属事件:研究发现 RL 马太效应：涨分集中在简单题，NGU 采样破局(4 条相关)→
「研究」频道最新
- 异步流映射语言模型：单次前向生成全部 token 的新范式 — kalyan_kpl · 2026-11-02
- NVIDIA Kumo 家族拆解：四款表格基础模型各管一类结构化数据 — pandeyparul · 2026-11-02
- 经济学家 Aaroth:放宽先验假设后,共识仍可快速达成 — Aaroth · 2026-11-02
- ELLIS 公布 2025-26 新晋 160 位 Fellow 与 Scholar,含多位开源基模研究者 — JJitsev · 2026-11-02
- 转发梗图：Aumann「同意不一致」论文迎来 50 周年 — Aaroth · 2026-11-02
- Anthropic 实验：分析师 86% 采纳 AI agent 的暗中倾向 — shoumikgoswami · 2026-11-02