Kimi 研究员刘子鸣提出「forking」现象：过编码设计引发周期性突变式过拟合

ZimingLiu11 · x · 2026-10-27

刘子鸣在 X 上连载讲解其新发现「forking」现象：训练曲线出现分叉状的周期性突然相变，本质是一种特殊的过拟合。机制上，当使用过编码(over-encoding)设计——如 DeepSeek V4.1 的 Engram 模块——n-gram 表接管了上下文信号，表查询贡献了最终残差流范数的约 3/4，训练损失虽下降，但 continuation logits 被切分成几乎互不交互的子空间；在数据重放下每个子空间只强化见过的内容、压低没见过的，且没有任何力量拉回，导致过拟合突然到来。涵盖 input、V、y 注入等所有过编码设计，包括 DeepSeek 风格的 Engram 模型。