Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住

burny_tech · x · 2026-11-17

burnytech 在与 Schmidhuber 相关的讨论中转发了 Bengio 团队 2017 年的论文《Sharp Minima Can Generalize For Deep Nets》(arXiv:1703.04933,作者 Laurent Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio)。

论文核心论点:「平坦极小值带来良好泛化」的流行假说对深度模型并不成立——利用 ReLU 网络参数空间的内在对称性,可以构造出极小值任意尖锐的等价模型;若允许重参数化,参数几何可以剧烈改变而不影响泛化。也就是说,大多数平坦性度量无法直接解释深度网络的泛化能力。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →