无需特征值分解：结合PSGD与KL-Shampoo的新优化器
YouJiacheng · x · 2026-08-31
作者提出一种结合PSGD-Kron乘性更新与KL-Shampoo目标函数的新优化器方法。
- 核心思路：利用KL散度$KL(N(0, \Sigma), N(0, P^{-2}))$作为目标。
- 优势：该方法在处理规范自由度后是精确的，且无需进行特征值分解、矩阵求逆或线性求解。
- 联系：指出PSGD更新即是KL shampoo的相对梯度。
所属事件:PSGD目标函数被发现与KL-Shampoo完全一致(6 条相关)→
「研究」频道最新
- 播客：强化学习如何改变模型思维与动机 — deanwball · 2026-09-01
- Agent 置信度应追踪整链而非最后一步 — alizahidrajaa · 2026-09-01
- 研究验证多智能体信任传播规则：一致性优于人类专家 — alizahidrajaa · 2026-09-01
- 谷歌 AgentHands：XR 中带语音同步手势的 AI 对话代理 — dl_weekly · 2026-09-01
- 「人格向量」之争：模型人格藏在内部结构，而非输出分布 — voooooogel · 2026-09-01
- CMU 研究利用 AI 模型探索阿兹海默症 DNA 变化 — jmuiuc · 2026-09-01