实测拆解 6 年预训练进步:数据贡献 12 倍算力收益,模型仅 3.7 倍
sebkrier · x · 2026-09-09
Dwarkesh Patel 与 Jerry Han 发文拆解 2019-2025 年预训练进步究竟来自数据还是模型改进:
- 方法:把每年的公开模型配方(架构、优化器、超参等)与当年代表性数据语料两两组合,在不同算力规模(最高 1e19 FLOPs)下训练,并用 OLMES 端到端能力评测而非固定数据集上的 loss 对比。
- 结论:数据改进带来的算力乘数是 12.0x,模型/算法改进仅 3.7x——数据贡献是模型的 3.24 倍,预训练进步主要来自数据。
- 两者收益相互独立:更好的数据集对所有架构的提升大致相同,反之亦然,意味着数据与算法优化可以叠加。
- 作者进一步讨论这对前沿实验室经济学和未来 AI 进步节奏的含义。
所属事件:Dwarkesh 实验显示预训练进步四分之三来自数据(3 条相关)→
「研究」频道最新
- EMNLP 2026 两篇论文：小模型实体追踪超人类、类人短暂记忆研究 — GretaTuckute · 2026-10-27
- 历时十年研究：秘鲁 Tarma 克丘亚语的「反自然」音系限制首获实证 — begusgasper · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- IdeaAnchor:用 1.4 万篇论文的灵感溯源教 LLM 基于文献提想法 — armancohan · 2026-10-26
- MIT Ziming Liu 批评 AutoResearch：不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 · 2026-10-26
- 斯坦福数据中心化 AI 研讨会开放报名，海报截止延期 — jure · 2026-10-26