CMU 新论文:预训练、微调与 RL 可统一为单一训练算法
rohanpaul_ai · x · 2026-10-31
卡内基梅隆大学新论文《Training Foundation Models with a Single Algorithm》提出,大模型训练的分阶段算法分割并非必然。
核心思路
- 将一类 RL 目标(MaxRL)重构为对模型自身正确答案的极大似然拟合,从而把预训练、midtraining、SFT、RL 全部纳入同一套 likelihood 训练规则(作者称为 unified training)。
- 训练流程由此变成「选什么数据、按什么比例、何时混入」的数据配比问题,传统分阶段训练成为特例。
实验结果
- 在 124M 模型的推理谜题上,最佳混合训练超过最佳分阶段训练,且更好保留通用能力。
- 0.76B 模型在数学 RL 中混入 5% midtraining 数据后,后续代码 RL 在 MBPP+ 上达 32.69%,分阶段训练为 29.81%。
作者建议把训练管线视为数据混合调度,在 RL 阶段混入早期数据而非硬切换阶段。
所属事件:CMU 等提出统一训练：单一似然算法贯穿预训练到 RL(8 条相关)→
「Infra」频道最新
- 《纽约客》长文:半导体供应链是人类最伟大的集体成就 — anselm · 2026-10-31
- 单卡 Intel B65 跑 Qwen3.8 达 62 tok/s,XeStrata 4-bit 实测 — SamSausages · 2026-10-31
- 16GB 显卡跑 Qwen3.8-27B:110k 上下文、55 t/s 实战配置 — jayecin · 2026-10-31
- 五大科技巨头数据中心承诺超 3 万亿美元，Google 独占超 1 万亿 — rohanpaul_ai · 2026-10-31
- Anthropic 洽谈租用埃德蒙顿附近 920MW 燃气电厂数据中心 — rohanpaul_ai · 2026-10-31
- 覆盖 25 家厂商 114 条报价，GPU 租价索引开放 MCP 接口 — StasBekman · 2026-10-31