CMU 论文提出统一训练：预训练/SFT/RL 可并入单一算法

omarsar0 · x · 2026-11-01

CMU 联合 JHU、Aurora Innovation 的论文《Training Foundation Models with a Single Algorithm》质疑基础模型分阶段训练（预训练、midtraining、SFT、RL）的必要性。

核心思路：把合适的 RL 目标推导为对模型生成目标分布的最大似然拟合，从而让 RL 生成与静态数据共享同一个损失函数和同一个训练器，即 unified training。设计问题因此变为「选哪些数据、按什么比例、在何时训练」，传统分阶段训练只是其中一个特例。

实验：从零训练 124M 模型做推理谜题，最优的统一训练在 RL 任务上超过分阶段训练，在未见过的更大谜题上也泛化更好；这些运行将 midtraining 语料复用了最多 4 次。作者称这改善 accuracy-compute 权衡并为持续学习提供更强起点。

所属事件:CMU 等机构新论文：单一似然算法统一预训练到 RL 全流程(9 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →