ReLU网络二阶导几乎处处为零,物理与PINN场景必须换平滑激活

bravo_abad · x · 2026-11-22

作者解释为何 ReLU 网络求两次导数会得到零:ReLU 导数只能取 0 或 1,网络是分段线性函数,一阶导分段常数、二阶导几乎处处为零。

结论:反向传播只需要激活函数的一阶导,但你的模型可能需要更高阶。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →