优化器公式白板诞生记：适用于噪声大或低秩梯度
HessianFree · x · 2026-09-01
研究者回忆优化器公式的诞生过程，指出这些公式是在白板上与Xilin共同提出的，并认为它们有助于处理梯度噪声大或低秩的情况。
所属事件:PSGD 目标函数被发现与 KL-Shampoo 数学等价(6 条相关)→
「研究」频道最新
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- 免细分位移表面几何查询新方法,焦散渲染方差降超10倍 — ssh4net · 2026-10-16
- Buehler 回顾：ChatGPT 发布前三周提出「AI 是科学新语言」 — ProfBuehlerMIT · 2026-10-16
- 研究发现:AI 建议一可用,人类「我不知道」率从 43% 骤降至 3% — ValerioCapraro · 2026-10-16
- POSTECH 论文:选择题评测偏差可拆解为翻转率与位置偏斜两因子 — Hyunjong Ok · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16