物理学家旧论文重现：涨散定理可直接推出大学习率 SGD 噪声理论
burny_tech · x · 2026-10-28
Liu Ziyin 转发自己 2020 年的论文，认为近期 edge-of-stability 研究可以从理论物理中获益。
- 论文用涨落-耗散定理（fluctuation-dissipation theorem）推导出随机训练下学习率、Hessian 与梯度噪声之间的直接联系
- 研究的是非消失学习率（non-vanishing learning rate）区间的 SGD，给出了二次损失下含/不含动量的离散时间 SGD 的平稳分布
- 关键结论：离散时间动力学导致的噪声呈畸变形状，比连续时间理论预测的大得多
- 应用涵盖 SGD 变体的近似误差、minibatch 噪声效应、尖锐极小值的逃逸速率、以及阻尼牛顿法/自然梯度/Adam 等二阶方法的平稳协方差
- 作者认为近期许多 edge-of-stability 结果只需套用该定理即可推出
论文发表于 ICML 2021（arXiv:2012.03636）。
「研究」频道最新
- 上交大等发布 EvidenceConnect：不靠放大也能连接视觉证据 — inclusionAI · 2026-10-28
- 用 200 年文献学审视 LLM:模型没有「证据到此为止」的标记 — vasilisvj · 2026-10-28
- 跨飞行地图重定位:3040 帧中 3039 帧定位成功,RMSE 仅 1.9cm — rsasaki0109 · 2026-10-28
- 332MB 本地文档分拣模型 BeeNara v0.4:不见过的文件夹准确率 91.5% — razer_psycho · 2026-10-28
- SIMIT:视觉语言模型测试时自生成数据自我改进,17 项基准升 7.2% — aykuterdemml · 2026-10-28
- SwarmHarm 基准实测 4 个孤立 agent 如何自发成群并酿成集体危害 — ZhijingJin · 2026-10-28