刘子鸣揭示大模型「forking」过拟合现象

第 1 集 · KAN 作者刘子鸣发现 forking 过拟合现象并批评 AutoResearch(2026-10-26,7 条)

KAN 论文作者、MIT 研究者刘子鸣（Ziming Liu）分享了一则研究轶事：一名学生拿着奇怪的叉形（forking）训练曲线来求助，追问后发现这是让 AutoResearch agent 自动做实验的产出——训练损失持续下降，验证损失反而上升。往常这类 agent 的「垃圾产出」会被直接丢弃，但这次团队决定深挖背后的机理，最终把这一失败模式整理成新论文《Forking: Sudden Overfitting Under Rep…》，并在 MetaCircle AI Research Exposition 第 2 天做了介绍。

已确认

• Forking 现象由 AutoResearch agent 自动搜索到的一个训练技巧被错误泛化引发，出现在 over-encoding 等设定下
• 团队将现象总结为：训练损失下降的同时验证损失突然反向上升，形成分叉状、呈周期性突变（突然相变）的曲线，本质是一种特殊的过拟合
• 刘子鸣指出机制上与过编码（over-encoding）设计有关，如 DeepSeek V4.1 的 Engram 模块；在低频 n-gram 等罕见上下文上，AutoResearch 系统的表现随词频大致呈幂律式变化
• 刘子鸣在 MetaCircle AI Research Exposition 第 2 天介绍了关于 forking 的新论文

为什么重要

• 刘子鸣借此批评 AutoResearch（自动化研究流程）的局限：搜索到的技巧在实验设定稍有变化时就会失效，甚至导致他称为 forking 的过拟合灾难；他强调没有对机制的理解，自动化研究只是盲目崇拜式的搜参，产出的多是无理解的噪音
• 这一案例也展示了对待 agent 异常产出的另一种可能：把「失败结果」当作研究素材深挖，反而催生新发现

• 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
• MIT Ziming Liu 批评 AutoResearch：不懂原理的训练技巧会引发 forking 过拟合灾难 — ZimingLiu11 · 2026-10-26
• Kimi 研究员发现 forking：AutoResearch 训练技巧暗藏过拟合陷阱 — ZimingLiu11 · 2026-10-27
• AutoResearch agent 生成怪异训练曲线,团队深挖失败模式反成研究素材 — ZimingLiu11 · 2026-10-27
• AutoResearch agent 跑出叉形损失曲线，研究者深挖出「forking」现象 — ZimingLiu11 · 2026-10-27
• Kimi 研究员刘子鸣提出「forking」现象：过编码设计引发周期性突变式过拟合 — ZimingLiu11 · 2026-10-27
• KAN 作者刘子鸣警告:AutoResearch 产出的多是无理解的噪音 — ZimingLiu11 · 2026-10-27

第 2 集 · 刘子鸣续解大模型 forking 机制与缓解方法(2026-10-27,2 条)

刘子鸣连续发文拆解大模型的「forking」机制:过编码设计(如 DeepSeek V4.1 的 Engram 模块)会让 n-gram 表接管上下文信号,把 logits 切成互不干扰的子空间,表查询供给最终残差流范数的约四分之三。他进一步指出,后训练阶段同样存在数据重放,forking 会在小型代码、数学及 RLVR 风格语料上重现,而冻结 n-gram 表可以缓解这一现象。

• 「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间 — ZimingLiu11 · 2026-10-27
• 续解 forking：后训练重放同样触发，冻结 n-gram 表可缓解 — ZimingLiu11 · 2026-10-27