新论文发现从预训练到后训练的联合 scaling law
Pavel_Izmailov · x · 2026-07-21
新论文把预训练和后训练连成统一 scaling law
这篇名为 《Understanding Reasoning from Pretraining to Post-Training》 的论文，研究的是整个 LLM 训练流水线，而不是把预训练和 RL 分开看。
原帖给出的核心结论是：
- 作者发现了一个覆盖预训练与后训练的联合 scaling law
- 他们研究了算力应该如何在各阶段分配
- 还分析了 RL 到底在改变 policy 的什么
配图则展示了三部分：
- 预训练 loss 随参数规模变化的 scaling
- RL reward 随训练步数变化的 scaling
- 在总算力约束下，预训练与 RL 的联合 frontier
所属事件:新研究提出预训练与RL联合缩放律(18 条相关)→
「研究」频道最新
- EMNLP 论文 GENIE:细粒度度量 LLM 故事的「新意」究竟在哪 — gregd_nlp · 2026-10-27
- hash n-gram 值嵌入助力 12×1024 GPT 刷新 30M 纪录至 3.2115 — RobertTLange · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- 作者称全由 LLM 编写的 Rust 库 bbtree 实测：快是真的，省内存翻车 — lmoroney · 2026-10-27
- Diamandis 详解 AI 癌症导航与 $100 基因测序如何缩小抗癌鸿沟 — PeterDiamandis · 2026-10-27