Hessian 特征值图实锤:去激活偏置让损失景观全程更平坦
ZimingLiu11 · x · 2026-10-31
同一系列的 6/N 部分：作者给出 Hessian 特征值随训练演化的实验图（Step 0 / 5000 / 10000），显示移除激活偏置后 top 特征值从约 20-50 量级降至 2 上下，说明优化不再受尖锐「谷底」方向困扰，可减少震荡与 loss spike。
另附 auto-encoder 实验展示表示的单调演化在去偏置后得以恢复。与 7/N 的最终结论（ViT/DiT/GPT 均有提升）属同一工作。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「研究」频道最新
- 两张考试卷讲透过拟合：背题学生 vs 理解概念的学生 — cneuralnetwork · 2026-10-31
- RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
- EdgeRock-4B 开源：KV 缓存固定 72MiB，比基座省 99.1% 显存 — testingcatalog · 2026-10-31
- Claude 写的 Muon 优化器定理被实测：数值验证到小数点后四位 — vxnuaj · 2026-10-31
- 开发者求助：Claude 写出的 Muon 优化器数学理论深到没人能验证 — vxnuaj · 2026-10-31
- 常用激活函数暗藏 bug,均值非零致 loss spike — ZimingLiu11 · 2026-10-31