Bengio 等旧文再引热议:锐利极小值也能良好泛化

burny_tech · x · 2026-11-17

Schmidhuber 相关讨论中,有人翻出 Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio 2017 年的论文《Sharp Minima Can Generalize For Deep Nets》(arXiv:1703.04933)。论文反驳「损失面极小值越平坦泛化越好」的流行假设:利用 ReLU 网络参数空间的内在对称性,可构造出对应任意更锐利极小值的等价模型;且对函数重参数化可剧烈改变参数几何而不影响泛化。因此多数「平坦度」定义不能直接用于解释深度网络的泛化。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →