在线凸优化二十年：AdaGrad 共同发明人 Hazan 的个人技术史

机器之心 · wechat · 2026-10-18

机器之心编译普林斯顿教授 Elad Hazan 的长文回顾，以个人经历串起在线凸优化（OCO）与现代 AI 的技术脉络：

起点：读博期间受 Zinkevich 与 Cover 的 universal portfolios 启发，发现 Newton 方法、regret 最小化与在线凸优化可纳入同一框架，提出 Online Newton Step（ONS）算法——虽被 FOCS/STOC 拒稿，却成为他最爱的论文。
AdaGrad 诞生：在 Google 与 Yoram Singer、John Duchi 合作，把 regret 视角抬升到优化器本身，发明自适应梯度方法，成为现代深度学习的主力工具。
黄金时代：与 Satyen Kale 合作约 20 篇论文，覆盖 bandit、博弈论、在线矩阵预测等方向；后赴 Technion 任教，指导了 Tomer Koren 等学生，再回到 Princeton。
谱滤波：受 Tengyu Ma 报告启发，与学生发明 spectral filtering 技术，用 regret/improper learning 的 OCO 套路处理线性动力系统学习，后发展出 Spectral Transformer 等新架构。
对 AI 的判断：文章末尾呼应陶哲轩等 25 位菲尔兹奖得主联名的《A Severe Misalignment of AI in Mathematics》——AI 恰恰擅长 STOC/FOCS 偏爱的那类能力，而在发明全新框架上相对弱；因此「选择有意思的问题、创造新框架」将成为数学家更核心的价值。

「漫话AGI」频道最新