PSGD 优化器目标函数竟与 KL-shampoo 完全一致
YouJiacheng · x · 2026-08-31
YouJiacheng 发现论文《Curvature-Informed SGD via General Purpose Lie-Group Preconditioners》(2402.04553) H.3 节中的在线 PCA 代价函数，与 KL-shampoo 中的 KL 散度目标完全一致。令人意外的是，原论文并未将其解释为 KL 散度。该作者询问这种代价函数在在线 PCA 文献中是否已知。
所属事件:PSGD 目标函数被发现与 KL-Shampoo 数学等价(6 条相关)→
「研究」频道最新
- 免细分位移表面几何查询新方法,焦散渲染方差降超10倍 — ssh4net · 2026-10-16
- Buehler 回顾：ChatGPT 发布前三周提出「AI 是科学新语言」 — ProfBuehlerMIT · 2026-10-16
- 研究发现:AI 建议一可用,人类「我不知道」率从 43% 骤降至 3% — ValerioCapraro · 2026-10-16
- POSTECH 论文:选择题评测偏差可拆解为翻转率与位置偏斜两因子 — Hyunjong Ok · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- Artificial Analysis 推出 Decision Index,评测决策模型新品类 — ArtificialAnlys · 2026-10-16