尖锐极小值也能泛化?LLM 训练经验似与经典理论相悖

burny_tech · x · 2026-11-17

作者引用论文《Sharp Minima Can Generalize For Deep Nets》,并指出一个值得注意的经验现象:从实践看,损失函数的 Hessian(曲率信息)对 LLM 训练似乎确实有帮助,尽管他不确定这一理论在 LLM 场景下的整体相关性有多大。这触及深度学习中长期存在的「平坦极小值更易泛化」经典观点与实际大模型训练经验之间的张力。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →