OpenAI 研究员质疑小模型结论外推：800M 只需 90 秒可训完

willdepue · x · 2026-11-06

OpenAI 研究员 Will DePue 与网友就「小模型实验结论能否外推到大模型训练」展开争论。DePue 认为：基于很久以前超小模型实验得出的直觉，对思考 GPT-6 级规模的训练毫无用处——800M 参数模型在单节点 H100 上 90 秒就能训完，根本不算大规模。

对方（fleetwood）反驳称这一现象（数据重复导致的双下降/测试损失行为）已在更大规模上被观察到，并附上一张 800M 参数模型在 90% 重复数据上的双下降曲线图：重复 epoch 数从 1 到 1100 万不等，重复数据的运行在训练中期出现明显的损失抬升（双下降），最终都未能收敛到不重复数据的水平。DePue 补充指出，这些论文各自讨论的现象其实并不相同。