SGD 最优步长调度被精确刻画：14 页论文证明唯一性与单调递减
prof_grimmer · x · 2026-11-02
Benjamin Grimmer 与 Qining Shen 的 14 页论文《Exact Theory and Optimal Stepsizes for Stochastic Gradient Descent in Smooth Convex Minimization》给出光滑凸随机优化中 SGD 步长调度的精确最坏情况分析。
- 假设梯度噪声条件零均值且方差有界，在维度 $d\geq N+1$ 的问题上，对任意 $[0,1.5]^N$ 内的（可非常数）$N$ 步步长调度，精确分析 SGD 末次迭代的期望次优性——「精确」指给出了使保证被取到的目标函数与噪声分布。
- 当方差界至少 $\Omega(1/\sqrt{N})$ 时，理论给出 SGD 的 minimax 最优步长调度并证明其唯一性（Corollary 1.2）。
- 最优步长单调递减，排除了确定性情形中固定分形（fractal）步长带来的末次迭代期望加速。
所属事件:新论文精确刻画 SGD 最优步长调度(4 条相关)→
「研究」频道最新
- 普林斯顿发布RAVEN：视觉嵌入替代字幕记忆，机器人可跨天检索导航 — shahdhruv_ · 2026-11-03
- 化学家亲历：AI 数分钟复现他 2021 年耗时数月的计算 — CatAstro_Piyush · 2026-11-03
- Prefrontal 开源 LSA 稀疏注意力：10M token prefill 提速最高 72.4 倍 — jcrwhittington · 2026-11-03
- Meta 论文：Routed CL 让 Agent 按任务分池记忆，效果提升且省 65-72% API 成本 — rohanpaul_ai · 2026-11-03
- Meta FAIR 新论文：研究智能体与人类协作效果最佳而非替代人类 — armand_ruiz · 2026-11-03
- 斯坦福实测 50 项 LLM 知名结论：15 个月内多数失效或大幅减弱 — ziv_ravid · 2026-11-03