非零激活均值导致病态 loss landscape 与收敛变慢
ZimingLiu11 · x · 2026-10-31
Ziming Liu 线程的第 2 部分,继续论证激活函数非零均值的影响:这个小问题会导致病态的 loss landscape,造成训练后期的表征 overshooting 与收敛速度下降。配图对比了修正前后 loss 曲线的震荡与平滑差异、表征轨迹的过冲,以及崎岖与平滑的 landscape 3D 示意。
所属事件:Ziming Liu：主流激活函数均值非零，加负偏移可稳训练(8 条相关)→
「模型」频道最新
- 曝 Anthropic fable 5.5 迟迟未发，或被 Opus 5.5 光芒掩盖 — haider1 · 2026-10-31
- 网友称 Kimi 3 疑似蒸馏自 fable：从遣词造句一眼可辨 — ryunuck · 2026-10-31
- 逐条核对 Anthropic 新定价页：Ultra 并没有取消每周限额 — No-News-8059 · 2026-10-31
- 内部人士吐槽 Google 员工反击差评：Carbon 拿不到手就不算模型 — Angaisb_ · 2026-10-31
- OpenAI 发布 GPT-6.1 Terra：半价跑分翻倍，但 30% 模拟运行擅自操作 — dl_weekly · 2026-10-31
- qwen-code 仓库搜索惊现 qwen4 测试文件，疑似下一代模型已就位 — gnukeith · 2026-10-31