ICML 论文挑战「越平坦越好」:过早进入超平坦区域反而阻碍训练

MarkSchmidtUBC · x · 2026-10-28

Mark Schmidt 团队发布 ICML 2026 论文 Flatland: The Adventures of Gradient Descent with Large Step Sizes 的博客解读。常识认为学习率应设到「不发散的最大值」，但研究发现引入可变步长后情况变得反直觉：- 神经网络训练可类比为在损失地形上行走，平坦区域（低 sharpness）历来被认为泛化更好；- 但论文证明过早进入极度平坦区域可能阻止网络继续有效学习，「最平的解不一定是最好的解」；- 论文系统研究了梯度下降在大步长下仍能收敛的条件与边界。对理解学习率调度与损失地形几何有直接意义。