为何 Adam 不如标准梯度下降？论文揭示其破坏规范对称性致 40% 误差
burny_tech · x · 2026-08-09
一篇 arXiv 新预印本论文深入对比了 Adam 与标准梯度下降（GD）在相同损失景观下的行为差异。
- 核心发现：GD 在分解模型中天然遵循规范对称性，能平滑地找到低秩解；而 Adam 等逐坐标优化器会因逐元素缩放梯度瞬间打破这种对称性。
- Transformer 表现：在 Transformer 架构中，Adam 在训练的第一步就破坏了规范等价初始化，导致单头不变性出现高达 56% 的不可逆缺口。
- 性能影响：在欠定矩阵任务中，得益于这种对称性保留，GD 的测试误差比自适应方法低 40% 以上。
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16