无需特征值分解的新优化器:结合 PSGD-Kron 与 KL-Shampoo

YouJiacheng · x · 2026-08-26

研究人员结合 PSGD-Kron 的 $\Sigma^{-1/2}$ 乘法更新与 KL-Shampoo 的目标函数,提出了一种无需特征值分解、求逆或求解线性方程组的新型优化器。该方法参数化 $P=R.T@R$,通过最小化 KL 散度 $KL(N(0, \Sigma), N(0, P^{-2}))$ 进行更新。作者表示相关工作由 GPT Pro 辅助完成。

所属事件:研究者借助 GPT Pro 融合 PSGD-Kron 与 KL-Shampoo 推出免分解优化器(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →