Mark Schmidt 图解:PL 条件让梯度下降在高非凸函数上线性收敛

MarkSchmidtUBC · x · 2026-11-17

UBC 教授 Mark Schmidt 分享了一张总结表:把梯度下降线性收敛的各类条件(SC、ESC、SQC、WSC、QSC、RSI、EB、PL、QG)统一写成「对特定方向导数的下界」形式,除 QG 只下界函数值外,其余条件都能这样统一表述。

亮点是 PL(Polyak-Łojasiewicz,非 RSI)条件下的「马桶冲水」函数例子:这是一个高度非凸的函数,负梯度方向甚至可能指向远离极小值的方向,但梯度下降依然能获得线性收敛速率。Schmidt 认为这说明 PL(及等价的 EB)条件的强大之处——其他条件都无法支撑这种情况。

所属事件:Mark Schmidt 用 AI 精化优化收敛条件,构造反例绘假设图谱(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →