语言模型为何弃用 ReLU 改用 GELU?原理与历史一次讲清
cneuralnetwork · x · 2026-11-11
一条清晰的技术科普推文,解释了现代语言模型普遍采用 GELU 激活函数的原因:
- ReLU (max(0, x)) 对负输入硬性清零;GELU (x·Φ(x)) 则按输入幅值用标准正态 CDF 平滑加权,例如 GELU(-1) ≈ -0.159,保留了部分负信号而非硬截断。
- GELU 由 Hendrycks & Gimpel 于 2016 年提出,后因 BERT 和 GPT 系列模型采用而流行。
- 作者特别指出:GELU 并非理论上证明优于 ReLU,它的流行来自成功的实证结果,而非定理支撑。
「研究」频道最新
- 开放权重时代的新命题：ZK-ML 密码学验证或成刚需 — DimitrisPapail · 2026-11-11
- 数据侧进步贡献 12 倍算力乘数，是模型改进的 3.24 倍 — josh_wills · 2026-11-11
- Ethan Mollick 让 AI 用公开数据研究费米悖论：银河系内我们独存概率 73% — emollick · 2026-11-11
- DNAForge 联手 MTC Berkeley 办 AI×生物黑客松，11 月 14 日开赛 — julia_kiseleva · 2026-11-11
- RoboScript 上下文学习让机器人单演示达 83.4% 成功率，超训练策略 20 分 — H-EmbodVis · 2026-11-11
- 阿里与港科大 PhysOPSD：用可执行代码作特权上下文提升视频物理合理性 — AlibabaTongyiLab · 2026-11-11