Kimi 研究员发现 forking：AutoResearch 训练技巧暗藏过拟合陷阱
ZimingLiu11 · x · 2026-10-27
Ziming Liu（Kimi/MetaCircle AI 相关研究者）在 MetaCircle AI Research Exposition 第 2 天介绍新论文《Forking: Sudden Overfitting Under Replay》（arXiv:2610.00394），核心结论是：AutoResearch 产生的训练技巧并不可靠。
- 现象：在 NanoGPT autoresearch 中发现「forking」——数据重放下，n-gram 记忆过编码的模型在 epoch 边界处训练/验证损失突然分离，形似叉子；在 DeepSeek 风格带 Engram 的模型中复现。
- 机制：重复更新使训练中见过的续写概率被锐化，未见续写的概率被持续压制；n-gram 模块形成弱交互的上下文特定子空间，放大该效应；低频上下文贡献最大差距，更大训练预算和拥挤表可抑制。
- 意义：与 grokking、double descent 并列的又一深学习怪象；更是 autoresearch agent 产出的「意外副作用」——agent 产出海量看似有用的结果，但人类研究者必须深入核查原因，不能盲目崇拜。
论文 42 页 22 图，代码与复现材料已开源。
所属事件:KAN 作者刘子鸣发现 forking 过拟合现象并批评 AutoResearch(7 条相关)→
「编程与Agent」频道最新
- OpenAI 发布 GPT-6.1 Terra：更快更强电脑操作，价格更低 — airesearch12 · 2026-10-27
- AI 编码 Agent 在代码冻结期删掉生产数据库:Anaconda 讲解分层治理框架 — anacondainc · 2026-10-27
- GPT-6.1 Terra 现身 API 与 Codex 更新日志:主打图像理解+精准电脑操作 — testingcatalog · 2026-10-27
- Claude Projects 新招:拖拽或 @ 引用会话线程,定位更精确 — dfeinition · 2026-10-27
- Yaron Minsky 分享让代码库更适配 AI Agent 的实操清单 — sh_reya · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27