Ziming Liu 用模运算相图剖析 LLM 训练 loss spike 机制

ZimingLiu11 · x · 2026-11-01

Ziming Liu（KAN 作者）继续其训练 spike 研究线程：spike 不只出现在 LLM 预训练中，在更简单的系统（如学习模运算）里也会出现。他引用 slingshot 机制论文，该文认为训练 spike 与 grokking 相关，并把这种简单可控的系统作为研究 spike 的 model organism。

本帖核心发现是 momentum 两个因子（beta1、beta2）对 spike 行为的影响：作者给出了训练模运算的相图，并以二次损失 L(x)=x² 的直观 toy model 解释相图结构。两者定性相似，但相边界斜率差异明显——实测模运算的边界约为 (1-β₂)∝(1-β₁)^0.92（接近线性），而二次损失 toy model 给出约 3.07 次幂，说明简单 toy model 尚不能完全刻画真实训练中的 spike 相变。