研究者借助 GPT Pro 融合 PSGD-Kron 与 KL-Shampoo 推出免分解优化器

8 月 26 日，有研究者借助 GPT Pro 完成实验，将 PSGD-Kron 的 Σ^{-1/2}（其中 Σ=E[ggᵀ]）乘性更新与 KL-Shampoo 的 KL 目标函数相结合，提出一种新型优化器。该方法完全无需特征值分解、矩阵求逆或求解线性方程组，在降低计算复杂度的同时保留了二阶优化思路，为优化器设计提供了新的研究方向，引发社区关注与讨论。

2026-08-26 ~ 2026-08-26 · 4 条相关