PSDG 的 QEQ 更新规则与 KL+AIRM 完全相同
YouJiacheng · x · 2026-08-31
YouJiacheng 补充指出,令人惊讶的是,PSGD 的原始目标函数结合 QEQ 更新规则,竟然给出了与 KL+AIRM 完全相同的更新规则。这进一步揭示了该优化方法背后的数学联系。
所属事件:PSGD 目标函数被发现与 KL-Shampoo 数学等价(6 条相关)→
「研究」频道最新
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- 免细分位移表面几何查询新方法,焦散渲染方差降超10倍 — ssh4net · 2026-10-16
- Buehler 回顾:ChatGPT 发布前三周提出「AI 是科学新语言」 — ProfBuehlerMIT · 2026-10-16
- 研究发现:AI 建议一可用,人类「我不知道」率从 43% 骤降至 3% — ValerioCapraro · 2026-10-16
- POSTECH 论文:选择题评测偏差可拆解为翻转率与位置偏斜两因子 — Hyunjong Ok · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16