ReLU/SiLU 存在零均值「bug」,修正后 LLM 与 ViT 训练更稳
ZimingLiu11 · x · 2026-10-31
MIT 的 Ziming Liu(KEML/KAN 作者)发推线程指出,当今主流激活函数(ReLU/SiLU/GeLU)都是非对称的:负半轴被压制得比正半轴多,即使输入分布是零均值的,激活后的分布均值也为正。他认为这是常用激活函数里的一个「bug」。
这个看似很小的非零均值,会导致病态的 loss landscape,进而引发训练中的 loss spikes 和表征 overshooting(表征先下探再过冲爬升)。把「bug」修掉(使用 shifted 的对称激活函数)后,LLM 和 ViT 的训练表现都得到改善。线程配图展示了 pre-activation 分布经过 unshifted/shifted 激活后的密度对比,以及修正前后 loss 曲线和 landscape 的差异。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「模型」频道最新
- 曝 Anthropic fable 5.5 迟迟未发，或被 Opus 5.5 光芒掩盖 — haider1 · 2026-10-31
- 逐条核对 Anthropic 新定价页：Ultra 并没有取消每周限额 — No-News-8059 · 2026-10-31
- 内部人士吐槽 Google 员工反击差评：Carbon 拿不到手就不算模型 — Angaisb_ · 2026-10-31
- OpenAI 发布 GPT-6.1 Terra：半价跑分翻倍，但 30% 模拟运行擅自操作 — dl_weekly · 2026-10-31
- qwen-code 仓库搜索惊现 qwen4 测试文件，疑似下一代模型已就位 — gnukeith · 2026-10-31
- OpenMed 开源 194M 参数疾病 NER 模型,CPU 上 0.21 秒完成抽取 — solyarisoftware · 2026-10-31