GPT Pro 组合 PSGD-Kron 与 KL-Shampoo,造出免特征分解优化器
YouJiacheng · x · 2026-08-26
一个有趣的优化器研究思路(实验由 GPT Pro 完成):结合 PSGD-Kron 的 Σ^{-1/2}(其中 Σ=E[ggᵀ])乘法更新，与 KL-Shampoo 的 KL 目标函数，得到一个不需要特征分解、矩阵求逆或求解线性方程组的优化器。
具体做法是对 P 做乘法更新，优化目标为 KL(N(0, Σ), N(0, P⁻²))。这为低成本二阶优化提供了新路径。
所属事件:研究者借助 GPT Pro 融合 PSGD-Kron 与 KL-Shampoo 推出免分解优化器(4 条相关)→
「研究」频道最新
- Light Origins 发布通用导航大脑 LightNav-0，支持任何机器人 — teortaxesTex · 2026-08-26
- 俄勒冈州立大学新研究：测试因果图中的测量误差 — yudapearl · 2026-08-26
- CoRL 2026 智能体机器人研讨会征稿，无需论文即可演示 — GuanyaShi · 2026-08-26
- Prime Intellect 提出智能体四级记忆架构 — ChrisGPT · 2026-08-26
- NTU 将办 2026 几何动力学与学习会议 — FrnkNlsn · 2026-08-26
- DeepSeek V4 评测：强于 CVE 查找，弱于幻觉控制 — teortaxesTex · 2026-08-26