Bengio 团队「尖锐极小值也能泛化」旧文再引热议
11 月 17 日,在与 Schmidhuber 及 @Sauers 等人的讨论中,burnytech 多次转发 Bengio 团队 2017 年的论文《Sharp Minima Can Generalize For Deep Nets》(arXiv:1703.04933,作者包括 Laurent Dinh、Razvan Pascanu、Samy Bengio、Yoshua Bengio),使这篇质疑「平坦性假说」的旧文再度引发关注。
已确认
- 论文核心结论:尖锐(sharp)极小值在深度网络中同样可以良好泛化,即「平坦极小值利于泛化」的经典假说并不能完全成立。
- burnytech 在转发时补充了自己的判断:他不确定这一理论在 LLM 实践中的相关性有多大,但从经验上看,损失函数中的 Hessian(曲率信息)对 LLM 训练似乎确实有帮助。
为什么重要
- 平坦性假说长期被用来解释深度网络的泛化能力,该论文提供了直接的反例,对相关理论基础构成挑战。
- burnytech 指出的「Hessian 经验上有用但理论相关性存疑」现象,反映了经典泛化理论与当前 LLM 训练实践之间可能存在的张力,值得 practitioners 关注。
2026-11-17 ~ 2026-11-17 · 5 条相关
一手来源
- Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住 — burny_tech ·
- Bengio 等旧文再引热议:锐利极小值也能良好泛化 — burny_tech · 2026-11-17
- 对「平坦极小值」论战的补充:LLM 上 Hessian 经验上仍有用 — burny_tech · 2026-11-17
- 尖锐极小值也能泛化?LLM 训练经验似与经典理论相悖 — burny_tech · 2026-11-17
- LLM 损失面 Hessian 真有用吗?回复中引 Sharp Minima 论文激辩 — burny_tech · 2026-11-17
另有 1 条近重复转述:burny_tech