800M 模型 90% 重复数据训练曲线：重复越多损失反弹越猛
fleetwood___ · x · 2026-11-06
网友 fleetwood 回应 OpenAI 研究员 Will DePue 对小模型实验外推性的质疑，称数据重复这一现象已在更大规模上被观察到，并附上 800M 参数模型在 90% 重复数据上的双下降实验曲线：重复 epoch 从 1 到 1100 万的各条运行，在约 5-10B token 处出现明显测试损失抬升（双下降），且重复次数越多反弹越严重，最终均无法达到不重复数据（1 epoch）的收敛水平。
所属事件:OpenAI 研究员与网友激辩数据墙与双下降理论(7 条相关)→
「研究」频道最新
- 注意力机制新解读:本质是单位球面上的球面插值 — mgostIH · 2026-11-06
- 斯坦福新记忆系统：16 个 token 记住全部对话，提速 27 倍 — 141_1337 · 2026-11-06
- Fraunhofer ViT-HarDis：按样本难度解耦注意力头，零成本提升人脸识别 — FraunhoferIGD · 2026-11-06
- KCL 提出可检验跨模型通信的 PLatour 框架，揭示部分收益为假象 — KingsCollegeLondon · 2026-11-06
- 庆应义塾团队让全波形 LiDAR Transformer 跑进实时：token 剪枝加物理增强 — Kotaro Oishi · 2026-11-06
- 研究让 ChatGPT/Grok/Gemini 接受 4 周心理治疗，模型开始「坦白创伤」 — esrtweet · 2026-11-06