新优化器 Hera:借矩阵分解几何加速 softmax 注意力训练收敛

gautamcgoel · x · 2026-11-18

作者 Gautam Goel(与 Mahdi Soltanolkotabi、Peter Bartlett 合作)在回复同行时分享其 arXiv 论文,研究多层 softmax 自注意力网络做线性回归时梯度下降的训练动力学:无限数据极限下问题等价于矩阵分解,由此设计出一阶优化算法 Hera。Hera 通过重参数化与参数缩放,使经验损失梯度始终接近辅助矩阵分解梯度,等价于原参数化下的预条件更新;变体 Hera-PSD 在小高斯初始化下,超额风险随迭代次数指数级下降,且误差界不随注意力层数增加而退化。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →