实测拆解 6 年预训练进步:数据贡献 12 倍算力收益,模型仅 3.7 倍
sebkrier · x · 2026-09-09
Dwarkesh Patel 与 Jerry Han 发文拆解 2019-2025 年预训练进步究竟来自数据还是模型改进:
- 方法:把每年的公开模型配方(架构、优化器、超参等)与当年代表性数据语料两两组合,在不同算力规模(最高 1e19 FLOPs)下训练,并用 OLMES 端到端能力评测而非固定数据集上的 loss 对比。
- 结论:数据改进带来的算力乘数是 12.0x,模型/算法改进仅 3.7x——数据贡献是模型的 3.24 倍,预训练进步主要来自数据。
- 两者收益相互独立:更好的数据集对所有架构的提升大致相同,反之亦然,意味着数据与算法优化可以叠加。
- 作者进一步讨论这对前沿实验室经济学和未来 AI 进步节奏的含义。
「研究」频道最新
- 曝 OpenAI 内部系统给出 Navier–Stokes 奇点解析证明，Lean 形式化验证 — Dr_Singularity · 2026-09-09
- 研究者：LLM 生成机器人控制器，或成机器人预训练数据引擎 — igilitschenski · 2026-09-09
- OpenAI 宣布破解纳维-斯托克斯千禧难题,动用约1万个AI智能体 — Dr_Singularity · 2026-09-09
- OpenAI 宣布其下一代模型智能体团队解决百年 Navier-Stokes 千禧年难题 — polynoamial · 2026-09-09
- OpenAI 千禧难题攻坚细节:1万智能体88小时完成证明 — generativist · 2026-09-09
- OpenAI 官宣攻克悬置90年的纳维-斯托克斯千禧难题 — ctjlewis · 2026-09-09