新优化器 Hera:借矩阵分解几何加速 softmax 注意力训练收敛
gautamcgoel · x · 2026-11-18
作者 Gautam Goel(与 Mahdi Soltanolkotabi、Peter Bartlett 合作)在回复同行时分享其 arXiv 论文,研究多层 softmax 自注意力网络做线性回归时梯度下降的训练动力学:无限数据极限下问题等价于矩阵分解,由此设计出一阶优化算法 Hera。Hera 通过重参数化与参数缩放,使经验损失梯度始终接近辅助矩阵分解梯度,等价于原参数化下的预条件更新;变体 Hera-PSD 在小高斯初始化下,超额风险随迭代次数指数级下降,且误差界不随注意力层数增加而退化。
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18