KAN 作者刘子鸣发现 forking 过拟合现象并批评 AutoResearch
KAN 论文作者、MIT 研究者刘子鸣（Ziming Liu）分享了一则研究轶事：一名学生拿着奇怪的叉形（forking）训练曲线来求助，追问后发现这是让 AutoResearch agent 自动做实验的产出——训练损失持续下降，验证损失反而上升。往常这类 agent 的「垃圾产出」会被直接丢弃，但这次团队决定深挖背后的机理，最终把这一失败模式整理成新论文《Forking: Sudden Overfitting Under Rep…》，并在 MetaCircle AI Research Exposition 第 2 天做了介绍。
已确认
- Forking 现象由 AutoResearch agent 自动搜索到的一个训练技巧被错误泛化引发，出现在 over-encoding 等设定下
- 团队将现象总结为：训练损失下降的同时验证损失突然反向上升，形成分叉状、呈周期性突变（突然相变）的曲线，本质是一种特殊的过拟合
- 刘子鸣指出机制上与过编码（over-encoding）设计有关，如 DeepSeek V4.1 的 Engram 模块；在低频 n-gram 等罕见上下文上，AutoResearch 系统的表现随词频大致呈幂律式变化
- 刘子鸣在 MetaCircle AI Research Exposition 第 2 天介绍了关于 forking 的新论文
为什么重要
- 刘子鸣借此批评 AutoResearch（自动化研究流程）的局限：搜索到的技巧在实验设定稍有变化时就会失效，甚至导致他称为 forking 的过拟合灾难；他强调没有对机制的理解，自动化研究只是盲目崇拜式的搜参，产出的多是无理解的噪音
- 这一案例也展示了对待 agent 异常产出的另一种可能：把「失败结果」当作研究素材深挖，反而催生新发现
2026-10-26 ~ 2026-10-27 · 7 条相关
- 第 1 集:KAN 作者刘子鸣发现 forking 过拟合现象并批评 AutoResearch(2026-10-26,7 条)
- 第 2 集:刘子鸣续解大模型 forking 机制与缓解方法(2026-10-27,2 条)
一手来源
- AutoResearch agent 跑出叉形损失曲线，研究者深挖出「forking」现象 — ZimingLiu11 ·
- Kimi 研究员刘子鸣提出「forking」现象：过编码设计引发周期性突变式过拟合 — ZimingLiu11 ·
- MIT Ziming Liu 批评 AutoResearch：不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 ·
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- 【源头】MIT Ziming Liu 批评 AutoResearch：不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 · 2026-10-26
- Kimi 研究员发现 forking：AutoResearch 训练技巧暗藏过拟合陷阱 — ZimingLiu11 · 2026-10-27
- AutoResearch agent 生成怪异训练曲线,团队深挖失败模式反成研究素材 — ZimingLiu11 · 2026-10-27
- 【源头】AutoResearch agent 跑出叉形损失曲线，研究者深挖出「forking」现象 — ZimingLiu11 · 2026-10-27
- 【源头】Kimi 研究员刘子鸣提出「forking」现象：过编码设计引发周期性突变式过拟合 — ZimingLiu11 · 2026-10-27
- KAN 作者刘子鸣警告:AutoResearch 产出的多是无理解的噪音 — ZimingLiu11 · 2026-10-27