研究者讨论优化器中的对称正定参数化新思路
_arohan_ · x · 2026-09-01
研究者 @YouJiacheng 指出，某论文附录 H.3 中的 online PCA 代价恰好等价于 KL-shampoo 中的 KL 目标，但原文并未将其解释为 KL 散度，并询问该代价在 online PCA 文献中是否已知。@HessianFree 回应称这些公式当年是与 Xilin 在白板上推导的，还有很多未写下的变体，认为它们在梯度噪声大或低秩等场景下可能有用。
所属事件:PSGD目标函数被发现与KL-Shampoo完全一致(6 条相关)→
「研究」频道最新
- Dan Luu 深度解析：软件变慢是选择而非必然 — JeremyCMorgan · 2026-09-01
- 学者吐槽 LLM 糟糕写作：审稿与回复已成文字垃圾场 — thegautamkamath · 2026-09-01
- 论文解析：DeepSeek R1 等推理模型如何进行思维链推理 — rao2z · 2026-09-01
- Qdrant 9月17日线上研究分享：token 原生存储可提速百倍 — qdrant_engine · 2026-09-01
- Nature 论文：用角色扮演框架解析 LLM 行为 — mpshanahan · 2026-09-01
- AI Agent 优化压力或致古德哈特定律失效 — dhadfieldmenell · 2026-09-01