斯坦福 CS312 长文解析预训练中的锐度与稳定性边缘

斯坦福 NLP 账号转发了为 CS312 课程撰写的长文,聚焦预训练中最反直觉的概念之一——sharpness(锐度)。文章系统讲解了什么是锐度、它如何在真实训练中显现,并指出梯度下降按理不应偏好平坦极小值,却与稳定性边缘等现象相关,引发对预训练动力学机制的讨论。

2026-10-31 ~ 2026-10-31 · 2 条相关

• CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜 — tatsu_hashimoto · 2026-10-31
• 斯坦福 CS312 课程长文拆解预训练核心概念：锐度与稳定性边缘 — stanfordnlp · 2026-10-31