GPT Pro 合成新优化器：免特征分解与矩阵求逆
YouJiacheng · x · 2026-08-26
研究者用 GPT Pro 将 PSGD-Kron 的 Σ^{-1/2}（Σ=E[ggᵀ]）乘性更新与 KL-Shampoo 的 KL 目标结合，得到一个完全不需要特征分解、矩阵求逆或求解线性方程组的优化器。
- 方法核心：以 KL(N(0, Σ), N(0, P⁻²)) 为目标对预条件矩阵 P 做乘性更新。
- 完整报告由 GPT 合成产出，展示了 LLM 辅助研究在优化器设计上的实际产出能力。
所属事件:研究者借助 GPT Pro 融合 PSGD-Kron 与 KL-Shampoo 推出免分解优化器(4 条相关)→
「研究」频道最新
- 研究者质疑：把 harness 优化包装成「递归自我改进」言过其实 — andrey_kurenkov · 2026-08-26
- Game2World 引擎：去除游戏 UI 提升世界模型训练效果 — GameWorldData · 2026-08-26
- 新训练法：可组合课程与难度池优化数据采样 — samsja19 · 2026-08-26
- UAI2026 公布三位主题演讲嘉宾，聚焦因果学习 — LesterMackey · 2026-08-26
- 30 问吃透 Embeddings 与向量检索:从对比训练到 HNSW 与评测 — techNmak · 2026-08-26
- UBio-MolFM发布：量子精度模拟百万原子体系 — 量子位 · 2026-08-26