CMU 等提出统一训练：一个算法打通预训练到 RL 全流程
burny_tech · x · 2026-11-05
CMU、JHU 与 Aurora Innovation 的论文《Training Foundation Models with a Single Algorithm》提出 Unified Training，主张基础模型的多阶段训练（预训练、midtraining、SFT、RL）并非本质上必须分离。关键思路：
- 将 RL 目标推导为对模型生成目标分布的最大似然拟合，从而让所有阶段共享同一似然训练目标
- 训练生命周期简化为「在什么时间、以什么比例、用什么数据训练」——预训练数据、示范与成功 RL 解可混入同一训练器
- 传统分阶段训练成为该框架的特例
实验（124M 参数模型）显示，最优配置下统一训练在推理准确率与对更难未见问题的泛化上优于常规分阶段训练，同时更好保留已学能力，并为持续学习提供更强起点。作者认为这为「基础模型训练的统一科学」奠定基础。
「Infra」频道最新
- 印度宣布 24 个月内造出首颗国产 GPU，配套 153 亿美元半导体激励 — SumitGup · 2026-11-05
- OpenRouter 数据:DeepSeek 官方仅承载 16.84% 的自家 Token — FinanceYF5 · 2026-11-05
- 微调 Qwen 视觉小模型容易,部署却要为无流量白租 10 天 GPU — allenling · 2026-11-05
- Sol 6.1 输出仅 24.5tps 远低于宣称 750tps,$60/百万输出引吐槽 — NandaVegg · 2026-11-05
- 爆料称将出现 0.3B 激活、$0.01/Mtok 的「Luna 级」检索增强模型 — teortaxesTex · 2026-11-05
- Khosla：万亿美元 GPU 数据中心本就不划算，长期反而利好 — beffjezos · 2026-11-05