PSGD目标函数被发现与KL-Shampoo完全一致
YouJiacheng 发现论文《Curvature-Informed SGD via General Purpose Lie-Group Preconditioners》(arXiv 2402.04553) 附录 H.3 中的在线 PCA 代价函数与 KL-Shampoo 的 KL 目标完全一致，且 PSGD 原始目标函数配合 QEQ 更新规则可推导出与 KL+AIRM 完全相同的更新规则，揭示了预条件优化器背后深层的数学联系。这一发现引发多位研究者围绕 PSD 参数化与免特征值分解优化器设计的讨论。
已确认
- @YouJiacheng 指出 arXiv 2402.04553 附录 H.3 的在线 PCA 代价恰好等价于 KL-Shampoo 中的 KL 目标，即以 KL 散度 KL(N(0, Σ), N(0, P⁻²)) 作为目标函数，但原论文并未将其解释为 KL 散度。
- @YouJiacheng 进一步发现 PSGD 的原始目标函数结合 QEQ 更新规则，给出了与 KL+AIRM 完全相同的更新规则。
- @YouJiacheng 还讨论了在要求欧氏梯度线性依赖于 Σ 时该梯度的唯一性。
- 在此基础上，@YouJiacheng 提出一种结合 PSGD-Kron 乘性更新与 KL-Shampoo 目标函数的新优化器方法，其优势在于无需特征值分解，并可处理规范自由度等问题（见转发帖 m1）。
- @arohan 记录了研究者间的讨论：@YouJiacheng 询问该在线 PCA 代价在相关文献中是否已知，@HessianFree 等人参与交流。
- @HessianFree 回忆相关优化器公式是在白板上与 Xilin 共同提出的，他认为这些公式有助于处理梯度噪声大或低秩的情况。
为什么重要
- 这一等价性表明看似不同的预条件随机梯度方法（PSGD、Shampoo、KL+AIRM）可能共享同一数学基础，有助于统一理解各类二阶优化器。
- 无需特征值分解的设计若成立，可降低矩阵型优化器的计算成本，使其更适用于大模型训练场景。
2026-08-31 ~ 2026-09-01 · 6 条相关
一手来源
- PSGD 优化器目标函数竟与 KL-shampoo 完全一致 — YouJiacheng ·
- PSDG 的 QEQ 更新规则与 KL+AIRM 完全相同 — YouJiacheng ·
- 优化器公式白板诞生记：适用于噪声大或低秩梯度 — HessianFree ·
- 无需特征值分解：结合PSGD与KL-Shampoo的新优化器 — YouJiacheng · 2026-08-31
- 【源头】PSGD 优化器目标函数竟与 KL-shampoo 完全一致 — YouJiacheng · 2026-08-31
- 【源头】PSDG 的 QEQ 更新规则与 KL+AIRM 完全相同 — YouJiacheng · 2026-08-31
- 发现欧氏梯度依赖Σ时的唯一性 — YouJiacheng · 2026-08-31
- 【源头】优化器公式白板诞生记：适用于噪声大或低秩梯度 — HessianFree · 2026-09-01
- 研究者讨论优化器中的对称正定参数化新思路 — _arohan_ · 2026-09-01