Echelon 优化器:Muon 精度下提速至 10.5 倍,附 Lean 收敛证明

xennygrimmato_ · x · 2026-11-17

Evolving Machines 发布研究博客,介绍 Echelon——Muon 的 rank-anchored 重构:只对顶部 r 维子空间做正交化并重缩放尾部奇异值,复杂度从随层宽立方增长降至 O(mnr)。

关键数据:

团队还给出了谱最速下降的首个 Lean 形式化验证的收敛证明与更新有界证明,Muon 8/8、Echelon 8/8 通过。作者 kimmonismus 评价这是更快的 Muon,并肯定其 Lean 等价性证明。

所属事件:Echelon 优化器发布:较 Muon 提速至 10.5 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →