RL 训练 LLM 遇上马太效应:新论文用「永不放弃」策略攻最难题
natolambert · x · 2026-09-16
Michael Noukhovitch 发布新论文(经 natolambert 推荐),揭示 LLM 强化学习后训练中的马太效应:平均 eval 分数掩盖了关键事实——提升几乎全部来自「本来就快会做」的简单题,而初始 pass@32=0 的最难题在训练后依然几乎不会做。
核心发现与做法:
- 以 Olmo 3.1 7B 在 AIME 2025 上的 RL 训练为例:把 30 题按初始难度分为易/中/难三档,简单题从「部分会做」变为「基本会做」,难题分数几乎纹丝不动
- 提出名为 Never Give Up 的方法:不放弃初始做不出的难题,让模型持续探索这些题目,直觉上很可扩展但实践中并不平凡
- 论文附带交互式博客和开源代码
所属事件:研究发现 RL 马太效应：涨分集中在简单题，NGU 采样破局(4 条相关)→
「研究」频道最新
- 异步流映射语言模型：单次前向生成全部 token 的新范式 — kalyan_kpl · 2026-11-02
- NVIDIA Kumo 家族拆解：四款表格基础模型各管一类结构化数据 — pandeyparul · 2026-11-02
- 经济学家 Aaroth:放宽先验假设后,共识仍可快速达成 — Aaroth · 2026-11-02
- ELLIS 公布 2025-26 新晋 160 位 Fellow 与 Scholar,含多位开源基模研究者 — JJitsev · 2026-11-02
- 转发梗图：Aumann「同意不一致」论文迎来 50 周年 — Aaroth · 2026-11-02
- Anthropic 实验：分析师 86% 采纳 AI agent 的暗中倾向 — shoumikgoswami · 2026-11-02