Dinh 等经典论文:锐利极小值也能泛化,平坦性假说站不住
burny_tech · x · 2026-11-10
博主分享 Laurent Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio 等人的论文《Sharp Minima Can Generalize For Deep Nets》。
核心内容：
- 流行假说认为 SGD 找到的损失面平坦极小值带来良好泛化（如 Hochreiter & Schmidhuber 1997、Keskar et al. 2017）。
- 论文论证对深度模型而言，多数"平坦性"定义是有问题的，无法直接解释泛化。
- 对含整流单元（ReLU）的网络，可利用参数空间固有对称性构造等价模型，其极小值可以任意尖锐但泛化性质不变。
- 进一步说明：允许重参数化时，参数几何可以剧烈改变而不影响泛化。
结论是"平坦 ⇒ 好泛化"这一直觉在深度网络中并不牢靠，锐利极小值同样可以泛化。
所属事件:Dinh 等经典论文指出尖锐极小值也能泛化(2 条相关)→
「研究」频道最新
- 四本免费数学书打底 ML:线代、概率、优化、信息论各一本 — cneuralnetwork · 2026-11-10
- 机器学习数学四本免费书单：线代、概率、优化、信息论 — cneuralnetwork · 2026-11-10
- Meta FAIR 提出 e-means：1/10 轮次超越 k-means，GPU 提速最高 45 倍 — burny_tech · 2026-11-10
- 梯度归因难以可靠过滤「阈下学习」，NeurIPS 论文给出实证 — ponguru · 2026-11-10
- Yang-Mills 工作组明日公布 OpenAI 完整 Lean 代码与验证结论 — burny_tech · 2026-11-10
- 可解释性研究不应只盯着预测力，解释本身才是目标 — burny_tech · 2026-11-10