LLM 损失面 Hessian 真有用吗?回复中引 Sharp Minima 论文激辩

burny_tech · x · 2026-11-17

在与 Schmidhuber 及 @Sauers 的讨论中,burnytech 对相关理论在 LLM 实践中的相关性表示怀疑,指出经验上损失函数中的 Hessian 项似乎确实对 LLM 有帮助。他引用了论文《Sharp Minima Can Generalize For Deep Nets》作为讨论依据,该论文说明尖锐极小值也可以泛化,与经典「平坦极小值才泛化」的观点形成张力。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →