梯度下降加速下界新突破：超越 Nesterov Ω(n⁻²) 经典界
burny_tech · x · 2026-09-04
arXiv 论文《Improved Gradient Descent Lower Bounds Beyond Nesterov》（Yuhan Ye、Kaizhao Liu）研究了平滑凸优化中梯度下降（GD）通过预设步长能加速到什么程度。
- 超越 Nemirovsky–Yudin 经典 Ω(n⁻²) 一阶 oracle 下界，证明新的非 anytime 下界 Ω(n⁻1.6342) 与 anytime 下界 Ω(n⁻1.2408)
- 分别改进了 Ma & Chen 近期的 Ω(n⁻1.932) 非 anytime 下界和 Tsai 等人的 Ω(n⁻4/3) anytime 下界
- 结合 silver schedules 达到的非 anytime O(n⁻log₂(1+√2)) 收敛率，新 anytime 下界首次严格分离了两种设定下可达到的收敛指数
论文共 32 页 6 图，属 math.OC 与机器学习交叉领域。
「研究」频道最新
- Eric Topol 发 Lancet 文章:AI 大模型可预测并预防未来 20 年健康轨迹 — EricTopol · 2026-09-04
- DeepMind 研究员：CoT 可解释性不适合作为 AI 安全的长期支柱 — cephaloform · 2026-09-04
- Vals AI 发布 SRE-Bench：考验模型逆向工程二进制文件的新安全基准 — dyn___ · 2026-09-04
- 研究称涌现性对齐失效可预测,本质是泛化而非"邪恶人格" — burny_tech · 2026-09-04
- 研究者指出 RL 驱动的 AI 进展难以覆盖真正分布外泛化 — chris_j_paxton · 2026-09-04
- 谷歌论文 Kastor:把物理基础模型改造成高效 PDE 生成式仿真器 — qberthet · 2026-09-04