论文发现预训练损失可预测后续 RL 推理增益

burny_tech · x · 2026-07-22

预训练损失能预测 RL 对推理能力的增益

这篇论文《Understanding Reasoning from Pretraining to Post-Training》把 预训练 和 后训练 RL 放到同一条受控流水线里研究，结论是：预训练阶段已经大幅决定了后续 RL 还能提升多少。

• 作者用国际象棋搭建了一个可控测试床：先做预训练，再用合成推理轨迹做 SFT，最后在可验证谜题上跑 GRPO。
• 他们发现，在给定 RL 算力下，后续表现能被预训练损失很好预测。
• 预训练 token 越多，RL 带来提升的速度也越快。
• RL 不只是把简单题再打磨一遍，还能在高难题上挖出 SFT 阶段几乎没学到的正确走法。
• 他们又在一个 1B 数学模型上复现了同样趋势：预训练更久的 checkpoint，RL 后上限更高、提升也更快。

论文的核心意思是：预训练和 RL 不是两段彼此独立的流程，前者会显著决定后者“值不值得投算力”。

原文链接 →

「研究」频道最新

• CHI 2026 最佳论文：具身 AI 用 EMS 引导身体完成动作 — MacrinePhD · 2026-07-22
• 更细看安全推理训练能否绕开 RL 副作用 — xuanalogue · 2026-07-22
• Sakana AI 用多模型协作提升推理时扩展与代码数学表现 — tkasasagi · 2026-07-22
• 具身 AI 系统用电刺激实时引导人体完成动作 — MacrinePhD · 2026-07-22
• See2Act 让机器人在一个去噪循环里同时学看与动 — heghbalz · 2026-07-22
• SFT 前做过程级安全筛选或能训练更对齐的推理模型 — xuanalogue · 2026-07-22

更多「研究」频道 AI 资讯 →