尖锐极小值也能泛化?LLM 训练经验似与经典理论相悖
burny_tech · x · 2026-11-17
作者引用论文《Sharp Minima Can Generalize For Deep Nets》,并指出一个值得注意的经验现象:从实践看,损失函数的 Hessian(曲率信息)对 LLM 训练似乎确实有帮助,尽管他不确定这一理论在 LLM 场景下的整体相关性有多大。这触及深度学习中长期存在的「平坦极小值更易泛化」经典观点与实际大模型训练经验之间的张力。
「研究」频道最新
- LLM 损失面 Hessian 真有用吗?回复中引 Sharp Minima 论文激辩 — burny_tech · 2026-11-17
- Bengio 团队旧文重提:尖锐极小值也能泛化,平坦性假说站不住 — burny_tech · 2026-11-17
- LLM 入门圣经《LLMs 101》2026 版免费在线,从 Transformer 讲到本地部署 — CatAstro_Piyush · 2026-11-17
- NUS Computing 首届 Ascent Fellows 出炉,九位青年研究者入选 — rishabh16_ · 2026-11-17
- 谷歌 DynamicWebPaige 构建 100 题赤平投影评测,考 AI 地质推理 — DynamicWebPaige · 2026-11-17
- RLAD 论文:双玩家 RL 训练模型自主发现推理抽象提升泛化 — burny_tech · 2026-11-17