对「平坦极小值」论战的补充:LLM 上 Hessian 经验上仍有用
burny_tech · x · 2026-11-17
burnytech 在转发 Bengio 团队《Sharp Minima Can Generalize For Deep Nets》时补充自己的判断:尽管该论文质疑平坦性假说,他不确定这在 LLM 实践中的相关性有多大——从经验上看,Hessian(二阶信息)对 LLM 似乎确实有帮助。
这是「平坦性 vs 泛化」经典论战的延续:2017 年 Bengio 团队论文指出 ReLU 网络的对称性可构造任意尖锐的等价极小值,而实践中二阶方法在 LLM 上的收益仍是开放问题。
所属事件:Bengio 团队「尖锐极小值也能泛化」旧文再引热议(5 条相关)→
「研究」频道最新
- alphaXiv 上线博客功能,呼吁研究者绕过评审直接发研究笔记 — CatAstro_Piyush · 2026-11-17
- FAIR 纽约办合成数据专场爆满, world models 也分东西海岸派系 — thegautamkamath · 2026-11-17
- LLM 入门圣经《LLMs 101》2026 版免费在线,从 Transformer 讲到本地部署 — CatAstro_Piyush · 2026-11-17
- Bengio 等旧文再引热议:锐利极小值也能良好泛化 — burny_tech · 2026-11-17
- NUS Computing 首届 Ascent Fellows 出炉,九位青年研究者入选 — rishabh16_ · 2026-11-17
- 谷歌 DynamicWebPaige 构建 100 题赤平投影评测,考 AI 地质推理 — DynamicWebPaige · 2026-11-17