Dwarkesh 实验：预训练进步 3/4 来自数据而非架构改进
eliebakouch · x · 2026-09-09
Dwarkesh Patel 与合作者用 2019–2025 各年度代表性的开源模型配方和数据语料，在多个小规模上做预训练组合实验，得出结论：
- 数据改进贡献的算力乘数是模型改进的 3.24 倍（12.0x vs 3.7x）——预训练的进步主要来自数据侧。
- 两类收益相互独立可叠加：更好的数据集对任何架构的帮助大致相同，反之亦然。
- 作者发布了完整实验结果，并讨论这对未来 AI 进步意味着什么。
这一实证结果挑战了「架构创新是主引擎」的叙事，暗示数据工程仍是预训练最大的提升空间。
所属事件:Dwarkesh 实验显示预训练进步四分之三来自数据(3 条相关)→
「模型」频道最新
- Fintech 圈 AI 重度用户共识:ChatGPT、Claude、Grokbot 位列前三 — LexSokolin · 2026-10-26
- 研究者暗示 DeepSeek 下一代模型或沿用 V3.2 DSA 路线 — YouJiacheng · 2026-10-26
- Anthropic S-1 亮点：半年营收涨 1300%,毛利率 85% — danshipper · 2026-10-26
- EMNLP 论文:多选题评分方案微调即可打乱模型排行榜 — boydgraber · 2026-10-26
- AI 回答可附真实链接与权威引用，关键事实仍可能全错 — alifcoder · 2026-10-26
- Kimi K3 解码每 token 约需 1 TFLOPs,K2 V4.1F 仅需 50 GFLOPs — YouJiacheng · 2026-10-26