OpenAI 研究员与网友激辩数据墙与双下降理论
OpenAI 研究员 Will DePue 在 X 上围绕「数据墙」与多位网友展开争论，焦点是 double descent（双下降）理论以及小模型实验结论能否外推到大模型训练。起因是网友 xidulu 提问：既然撞上数据墙，为什么不继续加大模型规模，指望进入 double descent 的插值区（interpolation regime）让测试误差再次下降（xidulu 附上经典双下降曲线，测试误差在参数/数据比约 1 处出现峰值）。DePue 直接回应称这类理论在当下不成立，并贴出 2019 年哈佛 double descent 论文的实验设置截图反驳对方引用的 5 层 ResNet 小实验。他的核心论点是：基于很久以前、超小模型实验得出的直觉，对思考 GPT-6 级规模的训练毫无用处——800M 参数模型在单节点 H100 上只需约 90 秒即可训完，与真正的大模型训练相去甚远。
已确认
- 双方争论的事实载体：2019 年哈佛 double descent 论文及其 5 层 ResNet 实验、经典双下降曲线在参数/数据比约 1 处的峰值现象
- DePue 给出的量化参照：800M 参数模型在单节点 H100 上约 90 秒可训完
- DePue 补充：对方引用的几篇论文各自讨论的其实是完全不同的现象，不能混为一谈
- 网友 fleetwood 的实证回应：附上 800M 参数模型在 90% 重复数据上的双下降实验曲线，重复 epoch 越多损失反弹越猛，并称数据重复现象已在更大规模上被观察到
尚未确认
- 数据墙下加大模型进入插值区能否让测试误差再降：DePue 认为该理论不成立，fleetwood 则主张数据重复现象已在更大规模上被观察到，双方均未给出定论性证据
- 小模型实验结论能否外推到大模型训练，仍是本次争论的分歧点而非共识
为什么重要
这场争论触及当前 AI 研究的核心焦虑：如果高质量数据枯竭，规模化路线是否还有续命手段。double descent 曾被视为扩大参数量可对抗数据重复的理论依据，而 DePue 作为 OpenAI 内部研究者的公开质疑，暗示业界对这类理论在大规模场景下的适用性并无把握——这直接关系到 GPT-6 级别模型的训练策略判断。
2026-11-06 ~ 2026-11-06 · 7 条相关
一手来源
- OpenAI 研究员质疑小模型结论外推：800M 只需 90 秒可训完 — willdepue ·
- 800M 模型 90% 重复数据训练曲线：重复越多损失反弹越猛 — fleetwood___ ·
- 数据墙下还能靠加大模型进插值区吗？一张双下降曲线引出的争论 — xidulu ·
- 【源头】数据墙下还能靠加大模型进插值区吗？一张双下降曲线引出的争论 — xidulu · 2026-11-06
- OpenAI 研究员晒双下降论文反驳：要么这理论成立要么 OpenAI 不存在 — willdepue · 2026-11-06
- OpenAI 研究员：小模型实验得出的直觉对 GPT-6 级训练毫无用处 — willdepue · 2026-11-06
- 【源头】800M 模型 90% 重复数据训练曲线：重复越多损失反弹越猛 — fleetwood___ · 2026-11-06
- 【源头】OpenAI 研究员质疑小模型结论外推：800M 只需 90 秒可训完 — willdepue · 2026-11-06
- DePue 补充：被引用的几篇论文谈的并非同一现象 — willdepue · 2026-11-06
另有 1 条近重复转述:willdepue