OpenAI researcher clashes with X users over double descent and scaling extrapolation
OpenAI 研究员 Will DePue 在 X 上围绕「数据墙」与多位网友展开争论，焦点是 double descent（双下降）理论以及小模型实验结论能否外推到大模型训练。起因是网友 xidulu 提问：既然撞上数据墙，为什么不继续加大模型规模，指望进入 double descent 的插值区（interpolation regime）让测试误差再次下降（xidulu 附上经典双下降曲线，测试误差在参数/数据比约 1 处出现峰值）。DePue 直接回应称这类理论在当下不成立，并贴出 2019 年哈佛 double descent 论文的实验设置截图反驳对方引用的 5 层 ResNet 小实验。他的核心论点是：基于很久以前、超小模型实验得出的直觉，对思考 GPT-6 级规模的训练毫无用处——800M 参数模型在单节点 H100 上只需约 90 秒即可训完，与真正的大模型训练相去甚远。
已确认
- 双方争论的事实载体：2019 年哈佛 double descent 论文及其 5 层 ResNet 实验、经典双下降曲线在参数/数据比约 1 处的峰值现象
- DePue 给出的量化参照：800M 参数模型在单节点 H100 上约 90 秒可训完
- 网友 fleetwood 的实证回应：附上 800M 参数模型在 90% 重复数据上的双下降实验曲线，重复 epoch 越多损失反弹越猛
尚未确认
- 数据墙下加大模型进入插值区能否让测试误差再降：DePue 认为该理论不成立，fleetwood 则主张数据重复现象已在更大规模上被观察到，双方均未给出定论性证据
- 小模型实验结论能否外推到大模型训练，仍是本次争论的分歧点而非共识
为什么重要
这场争论触及当前 AI 研究的核心焦虑：如果高质量数据枯竭，规模化路线是否还有续命手段。double descent 曾被视为扩大参数量可对抗数据重复的理论依据，而 DePue 作为 OpenAI 内部研究者的公开质疑，暗示业界对这类理论在大规模场景下的适用性并无把握——这关系到 GPT-6 级别模型的训练策略判断。
2026-11-06 ~ 2026-11-06 · 6 related posts
Primary sources
- Can scaling past the data wall enter double descent's interpolation regime? — xidulu · 2026-11-06
- OpenAI researcher invokes 2019 double descent paper in scaling-law spat — willdepue · 2026-11-06
- OpenAI researcher: intuitions from tiny models are useless for GPT-6-scale training — willdepue · 2026-11-06
- [source] Chart shows double descent on 800M model trained on 90% repeated data — fleetwood___ · 2026-11-06
- [source] OpenAI researcher: 800M-model intuitions are useless for GPT-6-scale training — willdepue · 2026-11-06
1 near-duplicate retellings: willdepue