KAN 作者刘子鸣：训练 loss spike 或是 grokking 的触发机制

ZimingLiu11 · x · 2026-11-01

KAN 作者、MIT 研究员刘子鸣（Ziming Liu）继续其 LLM 训练 loss spike 系列讨论（1/N 提到一种解释是稀有 token 导致 spike）：- 2/N 指出 spike 不仅出现在 LLM 训练，也能在学习模运算这类远更简单的系统中出现；- 他引用「slingshot mechanism（弹弓效应）」论文，主张训练 spike 会导向 grokking（突然泛化）；- 图示显示在全连接 ReLU 网络上，弹弓效应循环出现：末层权重快速生长 → loss spike → 范数平台期；- 团队因模运算系统简单且可控，将其选为研究 grokking 机制的「model organism」。