NanoGPT 自动研究惊现 Forking 现象：回放训练竟致突然过拟合
ceciletamura · x · 2026-10-20
arXiv 论文《Forking: Sudden Overfitting Under Replay》研究了 NanoGPT autoresearch 中发现的一种泛化失败现象：在数据回放下，n-gram 记忆模块过度编码的模型会在 epoch 边界出现训练/验证损失急剧分离，形似「叉子」。团队在受控的 vanilla NanoGPT 环境复现，并在带 Engram 的 DeepSeek 风格模型上重现。机制上，重复更新会锐化训练中见过的续写、同时压制未见续写的概率；n-gram 模块形成的弱交互上下文子空间会放大该效应，低频上下文贡献了大部分差距。短预算、高重复的 SFT 和类 RL 训练中也能观察到 forking。作者将其与 grokking、double descent 并列为又一奇特深度学习现象，并警告：这是 autoresearch agent 提出的技巧带来的意外副产品，对其产出结果需保持警惕。该论文作者 Shaoyang Guo（北大）将在 10 月 20 日 PDT 做线上讲解。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23