Ziming Liu：主流激活函数均值非零，加负偏移可稳训练

MIT 的 Ziming Liu（KAN 作者、Moonshot AI 研究员）于 10 月 31 日发推指出，主流激活函数 ReLU/SiLU/GeLU 存在一个共有的「bug」：这些函数非对称，负半轴被压制得比正半轴多，即使输入分布零均值，激活后的分布均值也为正。他认为这会在训练动力学上引发病理现象，包括 loss spike、表征 overshooting、病态的 loss landscape 以及后期收敛变慢；修复方式是给激活函数加一个负偏移。

已确认

• 修正常数：ReLU→ReLU−0.2、GeLU→GeLU−0.115、Swish→Swish−0.077，即零成本的一个常数平移，不改架构
• 配图实验显示，修正后训练后期损失更低、loss 曲线更平滑（震荡减少），代价是前期损失略高
• Hessian 特征值随训练演化的实验（Step 0/5000/10000）显示，移除激活偏置后 top 特征值从约 20–50 量级降至 2 上下，表明损失景观全程更平坦，优化不再受尖锐「谷底」方向困扰
• 效果覆盖多种任务：作者称在 ViT（图像分类）、DiT（图像生成）与 GPT（语言预训练）上均取得提升，训练稳定性改善
• 自编码器实验补充：带激活偏置的模型训练早期可从偏置分量恢复出可辨识图像内容，但后期依赖减弱；去除偏置后表征演化单调平滑，偏置分量几乎不携带图像内容

为什么重要

• 该修复几乎零成本：只改一个常数平移，若结论在大规模训练中成立，收益显著
• 激活函数是深度学习最基础的组件之一，若非零均值确实导致 loss spike 与病态优化问题，这一发现将促使社区重新审视默认设计选择

2026-10-31 ~ 2026-10-31 · 8 条相关

• 常用激活函数暗藏 bug,均值非零致 loss spike — ZimingLiu11 · 2026-10-31
• 【源头】ReLU/SiLU 存在零均值「bug」,修正后 LLM 与 ViT 训练更稳 — ZimingLiu11 · 2026-10-31
• 非零激活均值导致病态 loss landscape 与收敛变慢 — ZimingLiu11 · 2026-10-31
• 给激活函数加负偏移即可降低后期训练损失 — ZimingLiu11 · 2026-10-31
• 【源头】去掉激活偏置：ReLU减0.2等简单平移可降后期训练损失 — ZimingLiu11 · 2026-10-31
• 自编码器实验再证：去除激活偏置让表征演化单调平滑 — ZimingLiu11 · 2026-10-31
• Hessian 特征值图实锤:去激活偏置让损失景观全程更平坦 — ZimingLiu11 · 2026-10-31
• 【源头】去掉激活偏置这项零成本小改动,ViT/DiT/GPT 训练全面受益 — ZimingLiu11 · 2026-10-31