斯坦福 CS312 课程长文拆解预训练核心概念：锐度与稳定性边缘
stanfordnlp · x · 2026-10-31
斯坦福 nlp 账号转发一篇关于 sharpness（锐度）的博客文章，作者为 CS312 课程撰文讲解预训练中最反直觉的概念之一：锐度。文章解释了什么是 sharpness、它如何在真实训练中表现，以及对梯度下降动力学意味着什么（分析表明梯度下降会趋向「稳定性边缘」运行），并整理了目前尚未解答的开放问题。适合想深入理解大模型预训练优化的读者。
所属事件:斯坦福 CS312 长文解析预训练中的锐度与稳定性边缘(2 条相关)→
「研究」频道最新
- Dana Moshkovitz 将开讲 OpenAI 对唯一博弈猜想的证明 — RishiBommasani · 2026-10-31
- Mitrix Bio 抗衰疗法已在 70-92 岁老人中开展早期安全性试验 — acmoytoy · 2026-10-31
- 多臂老虎机遇上 LLM：让 AI 兼顾上下文感知与实时适应 — burkov · 2026-10-31
- 开源 LiDAR SLAM 新功能：无需 GPS 多段扫描合并成一张图 — rsasaki0109 · 2026-10-31
- 12GB 显存跑通 MOSS-Image 角色 LoRA 训练：7.1GB VRAM、54 秒出图 — Mycelia_Bygonepath · 2026-10-31
- Google 量子芯片 5 分钟完成经典超算需 10^25 年的任务 — acmoytoy · 2026-10-31