14 页论文解决 SGD 理论：证明线性衰减步长已最优、分形加速不可能
prof_grimmer · x · 2026-11-02
Benjamin Grimmer 与 Qining Shen 在 arXiv 发布论文《Exact Theory and Optimal Stepsizes for Stochastic Gradient Descent in Smooth Convex Minimization》(arXiv:2610.42048)，仅 14 页，为光滑凸优化下随机梯度下降（SGD）最后一次迭代的步长设计给出精确理论与最优步长。作者在推文线程中用多张手写图解说明两大核心结果：
- 通用分析定理（Theorem 1.1）：对 [0,1.5]^N 中任意（可非常数）N 步长调度，在维度 d≥N+1 时给出最终迭代期望次优性的精确最坏情况收敛率，并配有匹配的 PEP 证书——代入任意步长方案都能得到不可改进的保证。
- 极小极大最优步长（Corollary 1.2）：当方差界 Ω(1/√N) 满足时，给出最优步长的唯一解，形态近似线性单调衰减；并附带匹配的下界，证明不可能有进一步改进。
该结果直接排除了确定性情形中观察到的分形（fractal/silver）调度在随机情形带来加速的可能性——线性衰减已近乎最优。
所属事件:新论文精确刻画 SGD 最优步长调度(4 条相关)→
「研究」频道最新
- 普林斯顿发布RAVEN：视觉嵌入替代字幕记忆，机器人可跨天检索导航 — shahdhruv_ · 2026-11-03
- 化学家亲历：AI 数分钟复现他 2021 年耗时数月的计算 — CatAstro_Piyush · 2026-11-03
- Prefrontal 开源 LSA 稀疏注意力：10M token prefill 提速最高 72.4 倍 — jcrwhittington · 2026-11-03
- Meta 论文：Routed CL 让 Agent 按任务分池记忆，效果提升且省 65-72% API 成本 — rohanpaul_ai · 2026-11-03
- Meta FAIR 新论文：研究智能体与人类协作效果最佳而非替代人类 — armand_ruiz · 2026-11-03
- 斯坦福实测 50 项 LLM 知名结论：15 个月内多数失效或大幅减弱 — ziv_ravid · 2026-11-03