CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜
tatsu_hashimoto · x · 2026-10-31
斯坦福 CS 312 课程本周主题为预训练中最反直觉的概念之一:sharpness(尖锐度)。
- 课程文章解释了什么是 sharpness、它如何在真实训练中显现(梯度下降按理论应因此发散,但实际训练却保持在「稳定边缘」附近)
- 文章还梳理了目前围绕 sharpness 尚未解决的研究问题
- 适合想理解预训练动力学与优化稳定性的读者作为入门材料
「漫话AGI」频道最新
- Burkov 批超级智能愿景：80 亿人的丰裕将耗尽地球资源 — burkov · 2026-10-31
- 圣塔菲研究所 Eric Smith 温和而致命地拆解人类中心主义 — danfaggella · 2026-10-31
- Bindu Reddy 预判未来 12 个月:token 降价 80%、用量增 10 倍 — bindureddy · 2026-10-31
- 「财富加速财富失效的时代」：积累财富反而在催生让财富失去意义的文明 — Dr_Singularity · 2026-10-31
- Carl Benedikt Frey 撰文:为什么有些社会对新技术格外警惕 — carlbfrey · 2026-10-31
- Thoughtworks CTO:好开发者抗拒 Agent 编程,是深知上线不等于能用 — rseroter · 2026-10-31