MIT 新证明:精心设计步长序列可加速梯度下降至 n^-1.63
burkov · x · 2026-09-03
传统教学里梯度下降用固定步长，加速要靠动量等方法，但近期研究表明不改算法、仅按精心设计的序列选择步长也能加速。MIT CSAIL 的新论文研究了这一思路的极限：
- 针对光滑凸问题，分别分析了有限视野调度（已知总步数）与 anytime 调度（任意时刻停止都有效）两种设定；
- 证明出更强的收敛速度下界：有限视野情形改进到约 n^-1.6342，anytime 情形为 n^-1.2408；
- 后者同时说明单一固定无限调度无法匹配该速度上限。
这是对「只调步长序列能跑多快」这一基础问题的理论刻画，对优化教学与算法设计均有参考意义。
「研究」频道最新
- 33.3% ImageNet 图片含多个类别，研究者称答案集本身不完整 — RexDouglass · 2026-09-03
- ImageNet 约 12% 验证集标签是错的，标注标准从未跟上需求 — RexDouglass · 2026-09-03
- 逆向思维：简化ViT实现立体3D重建SOTA，NBS模型发布 — RexDouglass · 2026-09-03
- Wasserstein 重心重构语言模型嵌入,预测同业错配惩罚更准 — uct · 2026-09-03
- Debias-SparseGPT:在剪枝稀疏化中嵌入去偏,降低大模型人口偏差 — Irina Proskurina · 2026-09-03
- 无需跨资产协方差:语言模型嵌入给出组合方差可计算上界 — uct · 2026-09-03