新论文精确刻画 SGD 最优步长调度

Benjamin Grimmer 与 Qining Shen 在 arXiv 发布 14 页论文《Exact Theory and Optimal Stepsizes for Stochastic Gradient Descent》，研究平滑凸优化中 SGD 步长调度设计。论文证明在梯度噪声零均值且方差有界的假设下，单调递减的线性衰减是唯一极小极大最优解，并排除了分形加速的可能性，为 SGD 步长理论给出了精确刻画。此外同期还有一篇关于随机 Rayleigh-Ritz 全局收敛的优化论文上 arXiv。

2026-11-02 ~ 2026-11-02 · 4 条相关

• arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
• 14 页论文解决 SGD 理论：证明线性衰减步长已最优、分形加速不可能 — prof_grimmer · 2026-11-02
• 两篇优化新论文：SGD 最优步长理论与随机 Rayleigh-Ritz 全局收敛 — prof_grimmer · 2026-11-02

另有 1 条近重复转述:prof_grimmer