Bengio 等旧文再引热议:锐利极小值也能良好泛化
burny_tech · x · 2026-11-17
Schmidhuber 相关讨论中,有人翻出 Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio 2017 年的论文《Sharp Minima Can Generalize For Deep Nets》(arXiv:1703.04933)。论文反驳「损失面极小值越平坦泛化越好」的流行假设:利用 ReLU 网络参数空间的内在对称性,可构造出对应任意更锐利极小值的等价模型;且对函数重参数化可剧烈改变参数几何而不影响泛化。因此多数「平坦度」定义不能直接用于解释深度网络的泛化。
「研究」频道最新
- 对「平坦极小值」论战的补充:LLM 上 Hessian 经验上仍有用 — burny_tech · 2026-11-17
- Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住 — burny_tech · 2026-11-17
- LLM 入门圣经《LLMs 101》2026 版免费在线,从 Transformer 讲到本地部署 — CatAstro_Piyush · 2026-11-17
- NUS Computing 首届 Ascent Fellows 出炉,九位青年研究者入选 — rishabh16_ · 2026-11-17
- 谷歌 DynamicWebPaige 构建 100 题赤平投影评测,考 AI 地质推理 — DynamicWebPaige · 2026-11-17
- RLAD 论文:双玩家 RL 训练模型自主发现推理抽象提升泛化 — burny_tech · 2026-11-17