优化器公式白板诞生记：适用于噪声大或低秩梯度
HessianFree · x · 2026-09-01
研究者回忆优化器公式的诞生过程，指出这些公式是在白板上与Xilin共同提出的，并认为它们有助于处理梯度噪声大或低秩的情况。
所属事件:PSGD目标函数被发现与KL-Shampoo完全一致(6 条相关)→
「研究」频道最新
- Dan Luu 深度解析：软件变慢是选择而非必然 — JeremyCMorgan · 2026-09-01
- 学者吐槽 LLM 糟糕写作：审稿与回复已成文字垃圾场 — thegautamkamath · 2026-09-01
- 论文解析：DeepSeek R1 等推理模型如何进行思维链推理 — rao2z · 2026-09-01
- Qdrant 9月17日线上研究分享：token 原生存储可提速百倍 — qdrant_engine · 2026-09-01
- Nature 论文：用角色扮演框架解析 LLM 行为 — mpshanahan · 2026-09-01
- AI Agent 优化压力或致古德哈特定律失效 — dhadfieldmenell · 2026-09-01