常用激活函数暗藏 bug,均值非零致 loss spike
ZimingLiu11 · x · 2026-10-31
Ziming Liu 指出 ReLU/SiLU/GeLU 等常用激活函数存在一个共有的 "bug"：激活后的均值不为零。这个看似微小的问题会导致训练动力学上的病理现象，包括 loss spike 和表示 overshooting。修复该问题（让均值归零）后，LLM 和 ViT 的性能均得到提升。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「研究」频道最新
- 两张考试卷讲透过拟合：背题学生 vs 理解概念的学生 — cneuralnetwork · 2026-10-31
- RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
- EdgeRock-4B 开源：KV 缓存固定 72MiB，比基座省 99.1% 显存 — testingcatalog · 2026-10-31
- Claude 写的 Muon 优化器定理被实测：数值验证到小数点后四位 — vxnuaj · 2026-10-31
- 开发者求助：Claude 写出的 Muon 优化器数学理论深到没人能验证 — vxnuaj · 2026-10-31
- 「生物学只是数据问题」被一个 lncRNA 打脸，ANRIL 复杂到建模崩溃 — iskander · 2026-10-31