研究称Adam优化器会破坏模型低秩偏置

近期一篇名为《The Loss Does Not See the Basis, but Adam Does》的论文及实验指出，Adam等优化器会破坏梯度下降固有的低秩偏差。在矩阵分解模型中，尽管损失函数对旋转保持不变，但Adam的逐坐标操作机制改变了这一特性。相比之下，Muon优化器在低尾能量处表现优异，揭示了不同优化器在处理Transformer等模型时底层机制的关键差异。

2026-08-11 ~ 2026-08-13 · 2 条相关