Mark Schmidt 图解:PL 条件让梯度下降在高非凸函数上线性收敛
MarkSchmidtUBC · x · 2026-11-17
UBC 教授 Mark Schmidt 分享了一张总结表:把梯度下降线性收敛的各类条件(SC、ESC、SQC、WSC、QSC、RSI、EB、PL、QG)统一写成「对特定方向导数的下界」形式,除 QG 只下界函数值外,其余条件都能这样统一表述。
亮点是 PL(Polyak-Łojasiewicz,非 RSI)条件下的「马桶冲水」函数例子:这是一个高度非凸的函数,负梯度方向甚至可能指向远离极小值的方向,但梯度下降依然能获得线性收敛速率。Schmidt 认为这说明 PL(及等价的 EB)条件的强大之处——其他条件都无法支撑这种情况。
所属事件:Mark Schmidt 用 AI 精化优化收敛条件,构造反例绘假设图谱(4 条相关)→
「研究」频道最新
- Reimers 谈长视频检索:7万亿像素压不进1024维向量 — Nils_Reimers · 2026-11-17
- 新研究报告系统研究重排序检索的扩展规律 — CShorten30 · 2026-11-17
- Anthropic TASTE 基准藏捷径:移除后强模型跌破随机水平 — dhadfieldmenell · 2026-11-17
- 2026 Google PhD Fellowship 出炉:148 名博士生获 1300 万美元资助 — ManishGuptaMG1 · 2026-11-17
- Swarms 发布 AgentRearrange:一行代码编排多智能体工作流 — KyeGomezB · 2026-11-17
- BrickFlow:从单张图片推断零件位姿自动拼装乐高模型 — Peter Kulits · 2026-11-17