新研究提出「统一训练」:一个算法贯穿预训练到 RL 全流程
adityakusupati · x · 2026-10-31
研究团队提出 unified training,试图回答「能否把基础模型训练的所有阶段统一为单一算法」。核心论证脉络:
- 传统上基础模型训练分阶段进行:pretraining、midtraining、SFT、RLHF、RLVR,各阶段使用不同算法(从交叉熵到 GRPO),且往往各自孤立优化。
- 作者发现「条条大路通最大似然」:pretraining、midtraining 和 SFT 本就是最大似然估计;看似例外的 RL,可以由他们此前的 MaxRL(Maximum Likelihood Reinforcement Learning)框架补齐,并推广到 REINFORCE 等其他 RL 目标。
- 统一后不再是分阶段孤立训练,而是「一个算法+不断演进的数据课程」:把各来源数据按比例混合并随训练进程调整。
收益:更简单的基础设施,以及一个能更好做科学的框架——把问题从「该用哪个算法」转为「用什么数据、多少、何时」。
所属事件:CMU 等提出统一训练：单一算法贯穿预训练到 RL(4 条相关)→
「研究」频道最新
- ENCODE ChIP-seq 模型按原样提供：底层数据差则模型也差 — jmschreiber91 · 2026-10-31
- 当模型「意见不合」：可及性无信号但 TF 模型显示结合位点被破坏 — jmschreiber91 · 2026-10-31
- Whole-Body Dexterity:把人形机器人全身变成灵巧操作器 — chris_j_paxton · 2026-10-31
- TF 结合模型配合 CATv1 染色质模型，直接解读变异对结合位点的影响 — jmschreiber91 · 2026-10-31
- 整数分解复杂度纪录获 Lean 形式化验证 — basedjensen · 2026-10-31
- BPNet 与 Cherimoya 擅长校正开放染色质混淆，基因模型对比有实例 — anshulkundaje · 2026-10-31