专题 · FULL STORY

KAN作者新研究：激活函数缺陷与训练稳定化

MIT 博士后、KAN 作者刘子鸣发布新论文，指出 ReLU/SiLU/GeLU 等主流激活函数均值非零是 bug，加负偏移可稳定训练，并通过相图使 loss spike 可预测、可规避，为长期困扰工程界的训练不稳定问题给出系统性方案。

2026-10-31 ~ 2026-11-02 · 2 集 · 19 条

第 1 集 · Ziming Liu 揭主流激活函数非零均值 bug，负平移即可修复(2026-10-31,9 条)

MIT 的 Ziming Liu（KAN 作者、Moonshot AI 研究员）于 10 月 31 日发推指出，主流激活函数 ReLU/SiLU/GeLU 存在一个共有的「bug」：这些函数非对称，负半轴被压制得比正半轴多，即使输入分布零均值，激活后的分布均值也为正。他认为这会在训练动力学上引发病理现象，包括 loss spike、表征 overshooting、病态的 loss landscape 以及后期收敛变慢；修复方式是给激活函数加一个负偏移。

已确认

  • 修正常数：ReLU→ReLU−0.2、GeLU→GeLU−0.115、Swish→Swish−0.077，即零成本的一个常数平移，不改架构
  • 配图实验显示，修正后训练后期损失更低、loss 曲线更平滑（震荡减少），代价是前期损失略高
  • Hessian 特征值随训练演化的实验（Step 0/5000/10000）显示，移除激活偏置后 top 特征值从约 20–50 量级降至 2 上下，表明损失景观全程更平坦，优化不再受尖锐「谷底」方向困扰
  • 效果覆盖多种任务：作者称在 ViT（图像分类）、DiT（图像生成）与 GPT（语言预训练）上均取得提升，训练稳定性改善
  • 自编码器实验补充：带激活偏置的模型训练早期可从偏置分量恢复出可辨识图像内容，但后期依赖减弱；去除偏置后表征演化单调平滑，偏置分量几乎不携带图像内容

为什么重要

  • 该修复几乎零成本：只改一个常数平移，若结论在大规模训练中成立，收益显著
  • 激活函数是深度学习最基础的组件之一，若非零均值确实导致 loss spike 与病态优化问题，这一发现将促使社区重新审视默认设计选择

第 2 集 · KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(2026-11-01,10 条)

KAN 作者、MIT 博士后 Ziming Liu（刘子鸣）在 MetaCircle AI Research 展示活动第五天发布新论文，研究长期困扰研究者和工程师的 LLM 预训练 loss spike 问题。核心结论是：loss spike 是可以预测的。团队在优化器 (β₁, β₂) 参数平面上绘制出 spike 的相位图，呈现「稳定-尖峰」的分界结构，可据此预判何种参数配置会产生 spike 并在实际训练中提前规避；这一结果意味着对训练损失二次（quadratic）图景的既有理解被推翻，其物理式分析还提示 beta1=beta2 或为最优配置。Ziming Liu 在系列推文中放出了论文链接。

已确认

  • 「spiky」只是优化器 (β₁, β₂) 参数平面上的一个相，该平面呈现「稳定-尖峰」的分界结构，据此可预判何种参数配置会产生 spike；实测相图边界斜率接近 1。
  • 团队的物理式分析结论显示 beta1=beta2 或为最优配置，二次模型严重误解了训练尖峰。
  • spike 并非 LLM 预训练独有：在学习模运算等更简单的系统中同样会出现。
  • 关于 spike 为何只出现在训练中间阶段：Ziming Liu 解释在前后两个阶段，有效学习率（effective LR）始终追不上临界学习率（critical LR），只有中段才会出现尖峰，学习率是关键因素。
  • 作为「AI 科学」研究思路的展示，团队回到最简单的受控情形，研究损失函数 loss(x)=|x|^n 中指数 n 对 Adam 优化器稳定性相图的影响，发现 n=2 与 n=2.1 的相图截然不同，揭示优化器对损失函数形式高度敏感。
  • Ziming Liu 引用 slingshot 机制论文，该文认为训练 spike 与 grokking 现象相关；他进一步提出训练 loss spike 可能是 grokking 的触发机制。
  • 关于 spike 成因的一种解释是稀有 token：模型在极少出现的样本上表现异常，从而引发损失尖峰。

为什么重要

  • loss spike 长期是 LLM 大规模预训练中的实际痛点，若可通过优化器参数平面提前预测并规避，将直接降低训练中断与算力浪费的风险。
  • 将 spike 与有效/临界学习率、grokking、slingshot 机制联系起来，为理解训练动态提供了统一视角，也挑战了传统的二次损失图景假设。
  • loss(x)=|x|^n 的受控实验展示了「AI 科学」式研究路径：用最简系统揭示复杂现象的机制，对优化器选择与训练稳定性研究均有参考价值。