新论文证明 Shampoo 优化器在非平稳优化中具极小极大最优性
_arohan_ · x · 2026-10-25
康奈尔大学 Abir Sarkar、Martin Wells 与 NC State 的 Nirmalya Mandal 在 arXiv 发表论文《Minimax Optimality of Shampoo for Nonstationary Stochastic Optimization》，对 Matrix-Shampoo 优化器追踪时变最优点的理论性质给出系统分析。
核心结果：
- 推导了平均追踪误差的有限时域高概率上界，将初始化、优化器漂移、动量漂移惩罚、随机噪声与自适应预条件等因素解耦，并给出对动量参数 β₁ 和稳定化参数 ε 的显式依赖。
- 揭示了两组权衡：噪声主导场景适合更大的 β₁（更强的一阶矩平均、更好抑制梯度噪声），漂移主导场景适合更小的 β₁（更快适应移动的最优点）；更大的 ε 降低预条件扰动但削弱对矩阵几何的利用。
- 在平方路径变化约束下证明了匹配的极小极大下界，从而确立 Shampoo 在因果优化方法类中的信息论最优性。
- 还在常数步长下对一般非平稳非凸目标给出了平均投影驻点间隙的高概率界，并在合成与多个真实问题上验证了理论结论。
对关注二阶/自适应优化器（如 Shampoo、Muon 一系）在持续变化目标上训练的理论性质的人来说，这是首个最优性刻画级别的结果。
「研究」频道最新
- 评论：RL 科学闭环太像教科书，缺了牛顿式冒险精神 — generativist · 2026-10-25
- 斯坦福 Finn 团队提出生成式价值分类器 GVC，用动作似然反推 Q 函数 — chelseabfinn · 2026-10-25
- 经济学家复盘：预测 AI 仅增 1pp 被嘲，如今瓶颈论被证实 — Afinetheorem · 2026-10-25
- 多智能体奖励设计细节之争：延迟惩罚与协作奖励才是关键 — rosstaylor90 · 2026-10-25
- 清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍 — jiqizhixin · 2026-10-25
- State of AI 报告第 9 期：前沿已成三实验室竞逐 — nathanbenaich · 2026-10-25