LLM 损失面 Hessian 真有用吗?回复中引 Sharp Minima 论文激辩
burny_tech · x · 2026-11-17
在与 Schmidhuber 及 @Sauers 的讨论中,burnytech 对相关理论在 LLM 实践中的相关性表示怀疑,指出经验上损失函数中的 Hessian 项似乎确实对 LLM 有帮助。他引用了论文《Sharp Minima Can Generalize For Deep Nets》作为讨论依据,该论文说明尖锐极小值也可以泛化,与经典「平坦极小值才泛化」的观点形成张力。
「研究」频道最新
- 尖锐极小值也能泛化?LLM 训练经验似与经典理论相悖 — burny_tech · 2026-11-17
- Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住 — burny_tech · 2026-11-17
- LLM 入门圣经《LLMs 101》2026 版免费在线,从 Transformer 讲到本地部署 — CatAstro_Piyush · 2026-11-17
- NUS Computing 首届 Ascent Fellows 出炉,九位青年研究者入选 — rishabh16_ · 2026-11-17
- 谷歌 DynamicWebPaige 构建 100 题赤平投影评测,考 AI 地质推理 — DynamicWebPaige · 2026-11-17
- RLAD 论文:双玩家 RL 训练模型自主发现推理抽象提升泛化 — burny_tech · 2026-11-17