无需特征值分解：结合PSGD与KL-Shampoo的新优化器
YouJiacheng · x · 2026-08-31
作者提出一种结合PSGD-Kron乘性更新与KL-Shampoo目标函数的新优化器方法。
- 核心思路：利用KL散度$KL(N(0, \Sigma), N(0, P^{-2}))$作为目标。
- 优势：该方法在处理规范自由度后是精确的，且无需进行特征值分解、矩阵求逆或线性求解。
- 联系：指出PSGD更新即是KL shampoo的相对梯度。
所属事件:PSGD 目标函数被发现与 KL-Shampoo 数学等价(6 条相关)→
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重，Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM：统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16