KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻

KAN 作者、MIT 博士后 Ziming Liu（刘子鸣）在 MetaCircle AI Research 展示活动第五天发布新论文，研究长期困扰研究者和工程师的 LLM 预训练 loss spike 问题。核心结论是：loss spike 是可以预测的。团队在优化器 (β₁, β₂) 参数平面上绘制出 spike 的相位图，呈现「稳定-尖峰」的分界结构，可据此预判何种参数配置会产生 spike 并在实际训练中提前规避；这一结果意味着对训练损失二次（quadratic）图景的既有理解被推翻，其物理式分析还提示 beta1=beta2 或为最优配置。Ziming Liu 在系列推文中放出了论文链接。

已确认

• 「spiky」只是优化器 (β₁, β₂) 参数平面上的一个相，该平面呈现「稳定-尖峰」的分界结构，据此可预判何种参数配置会产生 spike；实测相图边界斜率接近 1。
• 团队的物理式分析结论显示 beta1=beta2 或为最优配置，二次模型严重误解了训练尖峰。
• spike 并非 LLM 预训练独有：在学习模运算等更简单的系统中同样会出现。
• 关于 spike 为何只出现在训练中间阶段：Ziming Liu 解释在前后两个阶段，有效学习率（effective LR）始终追不上临界学习率（critical LR），只有中段才会出现尖峰，学习率是关键因素。
• 作为「AI 科学」研究思路的展示，团队回到最简单的受控情形，研究损失函数 loss(x)=|x|^n 中指数 n 对 Adam 优化器稳定性相图的影响，发现 n=2 与 n=2.1 的相图截然不同，揭示优化器对损失函数形式高度敏感。
• Ziming Liu 引用 slingshot 机制论文，该文认为训练 spike 与 grokking 现象相关；他进一步提出训练 loss spike 可能是 grokking 的触发机制。
• 关于 spike 成因的一种解释是稀有 token：模型在极少出现的样本上表现异常，从而引发损失尖峰。

为什么重要

• loss spike 长期是 LLM 大规模预训练中的实际痛点，若可通过优化器参数平面提前预测并规避，将直接降低训练中断与算力浪费的风险。
• 将 spike 与有效/临界学习率、grokking、slingshot 机制联系起来，为理解训练动态提供了统一视角，也挑战了传统的二次损失图景假设。
• loss(x)=|x|^n 的受控实验展示了「AI 科学」式研究路径：用最简系统揭示复杂现象的机制，对优化器选择与训练稳定性研究均有参考价值。

2026-11-01 ~ 2026-11-01 · 10 条相关

事件全程(共 2 集)→

• 第 1 集:Ziming Liu 揭主流激活函数非零均值 bug，负平移即可修复(2026-10-31,9 条)
• 第 2 集:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(2026-11-01,10 条)

• KAN 作者新论文: loss spike 可预测, 二次损失图景被推翻 — ZimingLiu11 · 2026-11-01
• 【源头】Ziming Liu 放出 loss spike 论文链接, MetaCircle 系列第五天 — ZimingLiu11 · 2026-11-01
• LLM 训练 loss spike 新解释:元凶或为稀有 token — ZimingLiu11 · 2026-11-01
• KAN 作者刘子鸣：训练 loss spike 或是 grokking 的触发机制 — ZimingLiu11 · 2026-11-01
• Ziming Liu 用模运算相图剖析 LLM 训练 loss spike 机制 — ZimingLiu11 · 2026-11-01
• 损失函数从 n=2 改到 2.1,Adam 相图剧变揭示优化器敏感性 — ZimingLiu11 · 2026-11-01
• 【源头】刘子鸣团队实测 Adam 稳定相图：损失底非二次，边界斜率近 1 — ZimingLiu11 · 2026-11-01
• Ziming Liu 解析训练 loss 尖峰：只有中段会尖，学习率是关键 — ZimingLiu11 · 2026-11-01
• 【源头】Ziming Liu 团队绘制 loss spike 相图:二次模型严重误解训练尖峰 — ZimingLiu11 · 2026-11-01
• KAN 作者团队绘出 loss spike 相图:beta1=beta2 或为最优 — ZimingLiu11 · 2026-11-01