ReLU 论文作者回顾：解决梯度消失的核心突破
burkov · x · 2026-08-15
Stanford 教授 Andrej Karpathy 分享了关于 ReLU 和 Dropout 论文的回顾。文中认为 ReLU 对神经网络的革命性意义大于 Dropout，因为在 ReLU 出现前，梯度消失问题使得超过两个隐藏层的深层网络几乎无法训练，而过拟合可以通过 Early Stopping 等手段缓解。
「研究」频道最新
- 论文入选 COLM 2026：INSIDE 框架解释学生行为逻辑 — alexisjross · 2026-08-15
- dots3 展示迈向现实长周期 Agent 能力 — otarU · 2026-08-15
- 新指标显示密集模型在 bs=1 时受益显著 — teortaxesTex · 2026-08-15
- MONA 方法：用短视优化规避多步奖励黑客 — sebkrier · 2026-08-15
- Sébastien Bubeck 凸优化新书上线 ChapterPal — burkov · 2026-08-15
- 实测 Qwen2.5-32B 量化：自研 AD-IQ3_S 精度超社区 33% — Top-Eye-8104 · 2026-08-15