论文：从预训练到后训练的推理能力演进
Jingyan Shen · hf · 2026-07-20
当前大模型普遍采用强化学习（RL）来提升复杂推理能力，但 RL 后训练通常与预训练阶段割裂。为了探究“预训练选择如何影响 RL 收益”以及“RL 到底如何改变模型”，研究人员引入国际象棋作为受控测试床。
实验设计与发现：
- 流程：在人类棋局上预训练 5M 至 1B 参数的语言模型，进行 SFT，并在具有可验证奖励的棋类谜题上运行 RL。
- 预训练决定 RL 上限：特定 RL 算力下的性能表现可以通过预训练损失来预测，且 RL 奖励曲线的斜率随预训练 token 数量的增加呈近似线性提升。
- RL 的实质作用：RL 并非单纯锐化 SFT 策略。在简单谜题上，它会放大 SFT 已偏好的正确动作；但在困难谜题上，它能挖掘出 SFT 阶段几乎不存在的正确动作。
- 跨域迁移：在数学语料上训练的 1B 模型中也出现了相同的规律：预训练越久的检查点，在 RL 后达到的性能越高、提升越快。
所属事件:新研究提出预训练与RL联合缩放律(18 条相关)→
「研究」频道最新
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- Finch 1 发布：用 50+ 种传感器影像训练的通用地理空间基础模型 — Scobleizer · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27