Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住
burny_tech · x · 2026-11-17
burnytech 在与 Schmidhuber 相关的讨论中转发了 Bengio 团队 2017 年的论文《Sharp Minima Can Generalize For Deep Nets》(arXiv:1703.04933,作者 Laurent Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio)。
论文核心论点:「平坦极小值带来良好泛化」的流行假说对深度模型并不成立——利用 ReLU 网络参数空间的内在对称性,可以构造出极小值任意尖锐的等价模型;若允许重参数化,参数几何可以剧烈改变而不影响泛化。也就是说,大多数平坦性度量无法直接解释深度网络的泛化能力。
「研究」频道最新
- 对「平坦极小值」论战的补充:LLM 上 Hessian 经验上仍有用 — burny_tech · 2026-11-17
- LLM 入门圣经《LLMs 101》2026 版免费在线,从 Transformer 讲到本地部署 — CatAstro_Piyush · 2026-11-17
- Bengio 等旧文再引热议:锐利极小值也能良好泛化 — burny_tech · 2026-11-17
- NUS Computing 首届 Ascent Fellows 出炉,九位青年研究者入选 — rishabh16_ · 2026-11-17
- 谷歌 DynamicWebPaige 构建 100 题赤平投影评测,考 AI 地质推理 — DynamicWebPaige · 2026-11-17
- RLAD 论文:双玩家 RL 训练模型自主发现推理抽象提升泛化 — burny_tech · 2026-11-17