研究发现 ReLU/SiLU/GeLU 共有缺陷，修复后 LLM 训练更稳
samiramanabi · x · 2026-11-02
MIT 的 Ziming Liu 指出，常用激活函数（ReLU/SiLU/GeLU 等）存在一个共有的「bug」：激活后输出的均值不为零。这个看似微小的偏差会导致训练动力学的病态，包括 loss spike 和表征过冲。移除该缺陷后，LLM 和 ViT 的性能均得到提升。Yannic 等转发者感叹深度学习算法栈里「哪一段没有 bug」。
所属事件:Ziming Liu 揭主流激活函数非零均值 bug，负平移即可修复(9 条相关)→
「研究」频道最新
- HTEB 动态评测：16 个开源 embedding 模型鲁棒性大不同 — kalyan_kpl · 2026-11-04
- 科隆 Replication Games 将于 1 月 21 日举办,复现经济学论文可获合著署名 — RexDouglass · 2026-11-04
- Paperclip 一次性读取数千篇论文，生物医学数据集构建从数月缩至约一分钟 — james_y_zou · 2026-11-04
- 实证研究:闭源 VLM 全面领先机器人任务,开源模型规划能力掉队 — Haojian Huang · 2026-11-04
- FPT 大学用 RAG 优化股市信息检索,准确率与速度双双提升 — Huan Phong Thai · 2026-11-04
- 阿里团队提出 GUI Agent 自适应训练法:环境交互减少 56-61% — Yuxiang Chai · 2026-11-04