ReLU网络二阶导几乎处处为零,物理与PINN场景必须换平滑激活
bravo_abad · x · 2026-11-22
作者解释为何 ReLU 网络求两次导数会得到零:ReLU 导数只能取 0 或 1,网络是分段线性函数,一阶导分段常数、二阶导几乎处处为零。
- 训练不受影响:反向传播只需要一阶导,激活函数的职责只是防止网络坍缩成线性映射(去掉非线性,269,322 参数的双层网络等价于 7,850 参数的线性模型)。
- 需要导数的场景会出问题:物理学里力是能量的负梯度,ReLU 势能面给出的力会跳变;用热方程训练的物理信息网络(PINN)需要直接用二阶导,ReLU 下扩散项在训练开始前就从损失里消失。
- 解法:Softplus、SiLU、GELU 等平滑激活在保持 ReLU 形状的同时把拐角磨圆,各阶导数均非零。
结论:反向传播只需要激活函数的一阶导,但你的模型可能需要更高阶。
「研究」频道最新
- Sinclair实验室用AI筛选化学重编程分子,小鼠4周组织年轻化 — thederbiedone · 2026-11-22
- Levent Alpöge 称用 Anthropic 模型产出 1740 万行 Lean 证明黎曼猜想 — jedisct1 · 2026-11-22
- tufazip 用神经网络把 1GB 维基百科无损压到 105MB — RichmanRonald · 2026-11-22
- 实测:QLoRA 微调 2B 小模型在分子分类上碾压闭源大模型 — madeofAjala · 2026-11-22
- 281 个开源 agent 技能库:模块化 SKILL.md 对比 .cursorrules 的 token 经济账 — ProYash239 · 2026-11-22
- Sakana AI Scientist 迭代至 v3:与模型共著论文获 ALIFE 2026 接收 — SakanaAILabs · 2026-11-22