KL 散度新视角统一 Shampoo 与 SOAP,提出免 Adam 的 KL-Shampoo
_arohan_ · x · 2026-09-11
- arXiv 论文《Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization》(Wu Lin、Roger Grosse 等)将 Shampoo/SOAP 的二阶矩估计重构为 KL 散度最小化下的协方差估计，揭示了此前被忽略的理论局限，并据此提出 KL-Shampoo 与 KL-SOAP。
- KL-Shampoo 不依赖 Adam 做 step-size grafting，消除了 Adam 带来的额外内存开销，同时在预训练中稳定跑赢 SOAP、Shampoo 甚至 KL-SOAP，迭代耗时与 SOAP 相当。
- 引用讨论中 zhanpengzhou 受 KL-Shampoo 启发，从 KL 视角把 Muon、RMNP 等优化器统一解释为 AdaGrad 对不同 Kronecker 结构的近似，并提出 SS-AdaGrad；arohan 感叹理论上难以证明全矩阵 AdaGrad 的最优性但实践上确实不可行。
「研究」频道最新
- Jessica Hullman：公开评审乱象或倒逼学术会议改进政策 — JessicaHullman · 2026-09-11
- 梳理 47.6 万字模型卡,Free Systems 做 28 张前沿模型对比卡曝光证据缺口 — soumitrashukla9 · 2026-09-11
- 把模型卡压成“宝可梦卡”大小,Free Systems 征求反馈还送实体卡包 — soumitrashukla9 · 2026-09-11
- 55 道“胡说八道”问题难倒主流 LLM,Bullshit Benchmark 揭模型盲从通病 — luisdans · 2026-09-11
- OSU 教授 Hai-Jun Su 融合 VLM 与机械设计,ASME 会议连获三项大奖 — AndrewDai · 2026-09-11
- 植物 DNA 基础模型 BOTANIC-1 发布,基准全面超越现有模型并开源权重 — anshulkundaje · 2026-09-11