Dwarkesh 预训练复现实验：数据改进贡献算力增益是模型侧 3.24 倍
josh_wills · x · 2026-09-09
Dwarkesh Patel 与合作者 whoisjerbear 用 2019–2025 年各年度代表性的开源模型配方与数据语料，在多个小规模下组合做预训练实验，得出关键结论：
- 数据改进贡献的算力乘数是模型改进的 3.24 倍（12.0x vs 3.7x），即预训练进展当前主要来自数据。
- 两者增益相互独立、可叠加：更好的数据集对每种架构的帮助几乎相同，反之亦然。
作者发布了完整结果，并讨论这对 AI 未来进展路径的含义。转发者评论称这项研究印证了“数据即能力即模型”的实践智慧。
所属事件:Dwarkesh 实验显示预训练进步四分之三来自数据(3 条相关)→
「研究」频道最新
- Stanford-Harvard 联合发布首份临床 AI 年度报告 2026 — jonc101x · 2026-09-09
- CosmoH2G:手部演示迁移到机械夹爪的数据集与基线方法 — Hongxiang Zhao · 2026-09-09
- Mask Forcing:双噪声掩码蒸馏缓解自回归视频扩散模式坍塌 — Zhuoran Zhao · 2026-09-09
- CVRR:强制潜态视觉推理走图像条件通路,验证潜空间推理必要性 — Suhyeong Park · 2026-09-09
- BeaconKV:用信标查询预测 KV 缓存复用,压缩长推理链显存 — Janghyeon Kim · 2026-09-09
- Google 提出程序化图:自进化执行结构改善 LLM 智能体长程工具调用 — google · 2026-09-09