研究发现 PSGD 优化器与 KL-shampoo 数学等价

YouJiacheng 研究发现，论文《Curvature-Informed SGD via General Purpose Lie-Group Preconditioners》中 PSGD 优化器的目标函数竟与 KL-shampoo 完全一致。讨论进一步指出，在要求欧氏梯度线性依赖于 Σ 时该梯度具有唯一性，且 PSGD 原始目标配合 QEQ 更新规则产生的更新与 KL+AIRM 完全相同，揭示了该优化方法背后深刻的数学联系。

2026-08-31 ~ 2026-08-31 · 3 条相关