arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解
konstmish · x · 2026-11-02
一篇 arXiv 论文研究了平滑凸优化中随机梯度下降(SGD)步长调度的设计,假设梯度噪声条件零均值且方差有界。
- 在维度 d ≥ N+1 的问题上,对任意 N 个步长(取值于 [0,1.5])的调度给出最终迭代的精确最坏情况分析——「精确」指构造了匹配的目标函数与噪声分布使保证被取到。
- 当方差下界至少为 Ω(1/√N) 时,给出了 SGD 的极小极大最优步长调度,并证明其唯一性。
- 结论:最优步长单调递减(即线性衰减),并排除了确定性情形中分形调度带来的加速。
「研究」频道最新
- 经济学家 Aaroth:放宽先验假设后,共识仍可快速达成 — Aaroth · 2026-11-02
- ELLIS 公布 2025-26 新晋 160 位 Fellow 与 Scholar,含多位开源基模研究者 — JJitsev · 2026-11-02
- 转发梗图：Aumann「同意不一致」论文迎来 50 周年 — Aaroth · 2026-11-02
- Anthropic 实验：分析师 86% 采纳 AI agent 的暗中倾向 — shoumikgoswami · 2026-11-02
- 通过模型内部表征探测隐性指令遵循，呼应 J-space 研究 — dioscuri · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02