新论文厘清 RL 后训练边界:随机奖励无法提升能力,但可教出新技能
natashajaques · x · 2026-09-13
Natasha Jaques 等人发布论文《Demystifying Reinforcement Learning Post-Training of Language Models》(arXiv:2608.24949),通过受控玩具实验系统拆解 LLM 的 RL 后训练机制，作者定位为一篇实用教程。
核心结论:
- 在随机奖励(spurious rewards)上做 RL 后训练，通常不能提升模型能力，只在特定条件下例外；其效果取决于后训练所用的 prompt 分布。
- 但 RL 后训练可以教会基础模型 pass@k 分布中不存在的新能力——即 RL 不只是「筛选」已有行为。
- 论文逐一考察基础模型先验分布、奖励信号粒度、prompt 分布多样性与模型规模如何影响 RL 成效，并以策略输出分布的熵为透镜，比较预训练、SFT、RL 后训练各自如何塑造模型确定性。
- 解释了 RL 成功与否取决于基础模型是否已在目标行为上放置足够概率质量，与经典 RL 的 exploration/exploitation 概念相连。
「研究」频道最新
- DeepMind 首发智能经济学研究：AGI 冲击经济靠协同而非单模型变强 — Scobleizer · 2026-10-31
- 把整台任天堂塞进 1GB 权重：Qwenputer 衍生出 Nesformer — idanbeck · 2026-10-31
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- 机器人操作新基准 MolmoSpaces-CommonSense:所有策略无一超过 30% — RanjayKrishna · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变 — stanfordnlp · 2026-10-31