数据侧进步贡献 12 倍算力乘数，是模型改进的 3.24 倍
josh_wills · x · 2026-11-11
Dwarkesh Patel 转发了一项被同日纳维-斯托克斯新闻掩盖的研究：他与 @whoisjerbear 用 2019–2025 年代表性开源模型配方与数据语料，在不同小规模下做了预训练组合实验。
核心发现：
- 数据改进贡献 12.0x 的算力乘数，模型架构改进仅 3.7x，前者是后者的 3.24 倍
- 两类收益可独立叠加：更好的数据集对每种架构的帮助几乎相同，反之亦然
- 作者认为这是预训练阶段算法进步真正主要来源的证据，并据此讨论了对 AI 未来进展的含义
这对「scaling 还能不能走」的争论是一个重要的实证数据点。
「研究」频道最新
- NYT:天文学家 Seager 母子挑战「水沙文主义」,硫酸或成外星生命溶剂 — _onionesque · 2026-11-11
- David Bau 可解释性演讲视频上线：Interpretability、Indirection 与 Introspection — yoavartzi · 2026-11-11
- 思科发布 Signals 2.0：45 类 agent 故障自动诊断，F1 达 91.43% — ptkbhv · 2026-11-11
- 审查 6 个 RSI 基准:5 个存在缺陷,31-63% 任务出错 — teortaxesTex · 2026-11-11
- VLA 微调消融：冻结 VLM 让 π 系列掉 23-56 分，GR00T 几乎不动 — rahulshivchand · 2026-11-11
- 反直觉发现：GR00T N1.7 zero-shot 更强，N1.5 却适配更快 — rahulshivchand · 2026-11-11