PSGD-QEQ 与 KL-AIRM 梯度等价,作者更正发现仅差一个步长

YouJiacheng · x · 2026-09-10

作者更正此前结论:由于要求梯度对 Σ 线性依赖,任意目标的欧氏梯度在线性变换(换基)意义下唯一,因此 KL 与 PSGD 目标在相同几何下给出相同更新。进一步推导发现梯度并非真正唯一,而是被几何差异「碰巧」抵消:由 dp=d(q²)=2qdq=-2q²r=-2pr 可得 PSGD-QEQ 与 KL-AIRM 仅相差一个步长。

所属事件:PSGD 优化讨论勘误:KL-AIRM 梯度差异仅剩一个步长(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →