数据墙下还能靠加大模型进插值区吗？一张双下降曲线引出的争论
xidulu · x · 2026-11-06
网友 xidulu 提问：既然撞上数据墙，为什么不继续加大模型规模，指望进入 double descent 的插值区（interpolation regime）让测试误差再次下降？
配图为经典双下降曲线：测试误差在参数/数据比约 1 的“插值阈值”处达到峰值，超过后随模型继续增大而下降。这一问题引来了 OpenAI 研究员 willdepue 的反驳——他认为这类理论“根本不是真的”。
所属事件:OpenAI 研究员与网友激辩数据墙与双下降理论(7 条相关)→
「研究」频道最新
- 注意力机制新解读:本质是单位球面上的球面插值 — mgostIH · 2026-11-06
- 斯坦福新记忆系统：16 个 token 记住全部对话，提速 27 倍 — 141_1337 · 2026-11-06
- Fraunhofer ViT-HarDis：按样本难度解耦注意力头，零成本提升人脸识别 — FraunhoferIGD · 2026-11-06
- KCL 提出可检验跨模型通信的 PLatour 框架，揭示部分收益为假象 — KingsCollegeLondon · 2026-11-06
- 庆应义塾团队让全波形 LiDAR Transformer 跑进实时：token 剪枝加物理增强 — Kotaro Oishi · 2026-11-06
- 研究让 ChatGPT/Grok/Gemini 接受 4 周心理治疗，模型开始「坦白创伤」 — esrtweet · 2026-11-06