结合 PSGD-Kron 与 KL-Shampoo，GPT Pro 助力优化器去逆运算
YouJiacheng · x · 2026-08-26
作者结合 PSGD-Kron 的 Σ^{-1/2} 乘性更新与 KL-Shampoo 的 KL 目标函数，提出了一种无需特征值分解、求逆或求解线性方程组的优化器新方法。
该方法的核心是在 KL 散度目标 KL(N(0, Σ), N(0, P^{-2})) 下进行乘性更新 P。工作由 GPT Pro 辅助完成。
所属事件:研究者借助 GPT Pro 融合 PSGD-Kron 与 KL-Shampoo 推出免分解优化器(4 条相关)→
「研究」频道最新
- 研究者质疑：把 harness 优化包装成「递归自我改进」言过其实 — andrey_kurenkov · 2026-08-26
- Game2World 引擎：去除游戏 UI 提升世界模型训练效果 — GameWorldData · 2026-08-26
- 新训练法：可组合课程与难度池优化数据采样 — samsja19 · 2026-08-26
- UAI2026 公布三位主题演讲嘉宾，聚焦因果学习 — LesterMackey · 2026-08-26
- 30 问吃透 Embeddings 与向量检索:从对比训练到 HNSW 与评测 — techNmak · 2026-08-26
- UBio-MolFM发布：量子精度模拟百万原子体系 — 量子位 · 2026-08-26