对「平坦极小值」论战的补充:LLM 上 Hessian 经验上仍有用

burny_tech · x · 2026-11-17

burnytech 在转发 Bengio 团队《Sharp Minima Can Generalize For Deep Nets》时补充自己的判断:尽管该论文质疑平坦性假说,他不确定这在 LLM 实践中的相关性有多大——从经验上看,Hessian(二阶信息)对 LLM 似乎确实有帮助。

这是「平坦性 vs 泛化」经典论战的延续:2017 年 Bengio 团队论文指出 ReLU 网络的对称性可构造任意尖锐的等价极小值,而实践中二阶方法在 LLM 上的收益仍是开放问题。

所属事件:Bengio 团队「尖锐极小值也能泛化」旧文再引热议(5 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →