Bengio 等人经典论文：尖锐极小值也能良好泛化，平坦性假说存疑
burny_tech · x · 2026-11-10
X 用户 burnytech 转发 Laurent Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio 2017 年的论文《Sharp Minima Can Generalize For Deep Nets》(arXiv:1703.04933)。
- 流行假说认为 SGD 找到的损失面平坦极小值（flat minima）带来良好泛化
- 论文论证：对深度模型而言，多数平坦性定义都有问题，无法直接解释泛化
- 关键论证：利用 ReLU 网络参数空间固有的对称性（如缩放不变性），可以构造等价但任意尖锐的极小值；重新参数化可在不改变泛化性质的情况下剧烈改变参数几何
这篇是挑战「平坦即泛化」直觉的经典之作。
所属事件:Dinh 等经典论文指出尖锐极小值也能泛化(2 条相关)→
「研究」频道最新
- 四本免费数学书打底 ML:线代、概率、优化、信息论各一本 — cneuralnetwork · 2026-11-10
- 机器学习数学四本免费书单：线代、概率、优化、信息论 — cneuralnetwork · 2026-11-10
- Meta FAIR 提出 e-means：1/10 轮次超越 k-means，GPU 提速最高 45 倍 — burny_tech · 2026-11-10
- 梯度归因难以可靠过滤「阈下学习」，NeurIPS 论文给出实证 — ponguru · 2026-11-10
- Yang-Mills 工作组明日公布 OpenAI 完整 Lean 代码与验证结论 — burny_tech · 2026-11-10
- 可解释性研究不应只盯着预测力，解释本身才是目标 — burny_tech · 2026-11-10