PSGD 优化器目标函数竟与 KL-shampoo 完全一致
YouJiacheng · x · 2026-08-31
YouJiacheng 发现论文《Curvature-Informed SGD via General Purpose Lie-Group Preconditioners》(2402.04553) H.3 节中的在线 PCA 代价函数，与 KL-shampoo 中的 KL 散度目标完全一致。令人意外的是，原论文并未将其解释为 KL 散度。该作者询问这种代价函数在在线 PCA 文献中是否已知。
所属事件:研究发现 PSGD 优化器与 KL-shampoo 数学等价(3 条相关)→
「研究」频道最新
- 为何避开坑洼比避开行人更难？JPL 团队详解几何原因 — aakashgupta · 2026-08-31
- PSGD 优化算法备受赞誉，被认为处于领先地位 — YouJiacheng · 2026-08-31
- VLANeXt 代码库发布：揭示构建强大 VLA 模型的配方 — ccloy · 2026-08-31
- AI研究助手不应只是论文摘要工具，真正的代理是什么？ — Senior_Weakness255 · 2026-08-31
- Medusa 从训练到推理全解：多 token 预测加速的两部曲教程 — No_Progress_5399 · 2026-08-31
- LayerRecall：按层路由历史记忆，改善长视频生成一致性 — zju · 2026-08-31