论文发现预训练损失可预测后续 RL 推理增益
burny_tech · x · 2026-07-22
预训练损失能预测 RL 对推理能力的增益
这篇论文《Understanding Reasoning from Pretraining to Post-Training》把 预训练 和 后训练 RL 放到同一条受控流水线里研究，结论是：预训练阶段已经大幅决定了后续 RL 还能提升多少。
- 作者用国际象棋搭建了一个可控测试床：先做预训练，再用合成推理轨迹做 SFT，最后在可验证谜题上跑 GRPO。
- 他们发现，在给定 RL 算力下，后续表现能被预训练损失很好预测。
- 预训练 token 越多，RL 带来提升的速度也越快。
- RL 不只是把简单题再打磨一遍，还能在高难题上挖出 SFT 阶段几乎没学到的正确走法。
- 他们又在一个 1B 数学模型上复现了同样趋势：预训练更久的 checkpoint，RL 后上限更高、提升也更快。
论文的核心意思是：预训练和 RL 不是两段彼此独立的流程，前者会显著决定后者“值不值得投算力”。
「研究」频道最新
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 把数据调度变成优化的一部分：样本选择与排序影响 LLM 训练 — Puzzleheaded_Box2842 · 2026-09-11
- Jeff Heaton《神经网络数学导论》开放免费完整下载 — blaizedsouza · 2026-09-11
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11