去掉 Adam 的平方根会怎样?二阶视角博客解读优化器根号之谜

burny_tech · x · 2026-09-04

研究者 zhanpengzhou 发布其第五篇优化方向个人博客,探讨自适应优化器(Adam/AdamW)中平方根的作用:取平方根是为了保证损失缩放不变性;若想更接近牛顿法、去掉平方根,必须先解决缩放不匹配问题。

博客主要跟随 arXiv 论文 Can We Remove the Square-Root in Adaptive Gradient Methods? A Second-Order Perspective(Wu Lin 等)。该论文发现:去掉平方根的自适应方法在卷积架构上能缩小与 SGD 的泛化差距,同时在 Transformer 上保持性能;无根方法还兼容半精度训练,无需数值不稳定的矩阵开方分解,为开发非对角预条件方法提供了新视角。