PSGD 优化讨论勘误：KL-AIRM 梯度差异仅剩一个步长

YouJiacheng 发文更正此前关于 PSGD-QEQ 的结论：由于要求梯度对 Σ 线性依赖，任意目标的欧氏梯度在线性变换（换基）意义下唯一，因此 KL 与 PSGD 目标在相同几何下给出相同更新。但他进一步推导发现该梯度并非真正唯一，而是几何差异恰好被抵消，通过 dp=d(q²)=2qdq=-2q²r=-2pr 的推导可证，两者梯度实际上仅相差一个步长。

2026-09-10 ~ 2026-09-10 · 2 条相关