CMU 团队提出统一训练：单一算法打通预训练到后训练全流程
DanielKhashabi · x · 2026-10-30
CMU、Johns Hopkins 与 Aurora Innovation 的研究者（Yuda Song、Alvin Zhang、Fahim Tajwar 等，顾问含 Jeff Schneider、Ruslan Salakhutdinov、Andrea Zanette、Aarti Singh）提出 unified training——用单一算法覆盖基础模型训练全流程，质疑预训练/中期训练/后训练的三段式划分是否根本必要。
方法要点：
- 数据混合包含静态数据（预训练、中期训练与 SFT 数据）和按奖励加权的 RL 生成数据；训练器仅用最大似然估计，生成与评估形成闭环。
- 声称优势：基础设施更简单；为训练科学提供更干净的实验框架。
- 配图实验显示统一训练在相同累积算力下的 accuracy 与 coverage 曲线对比分阶段基线。
这是一个系列推文的首帖，完整细节见后续线程。
所属事件:CMU 等提出统一训练：单一算法贯穿预训练到 RL(4 条相关)→
「研究」频道最新
- ENCODE ChIP-seq 模型按原样提供：底层数据差则模型也差 — jmschreiber91 · 2026-10-31
- 当模型「意见不合」：可及性无信号但 TF 模型显示结合位点被破坏 — jmschreiber91 · 2026-10-31
- Whole-Body Dexterity:把人形机器人全身变成灵巧操作器 — chris_j_paxton · 2026-10-31
- TF 结合模型配合 CATv1 染色质模型，直接解读变异对结合位点的影响 — jmschreiber91 · 2026-10-31
- 整数分解复杂度纪录获 Lean 形式化验证 — basedjensen · 2026-10-31
- BPNet 与 Cherimoya 擅长校正开放染色质混淆，基因模型对比有实例 — anshulkundaje · 2026-10-31