Echelon 优化器:Muon 精度下提速至 10.5 倍,附 Lean 收敛证明
xennygrimmato_ · x · 2026-11-17
Evolving Machines 发布研究博客,介绍 Echelon——Muon 的 rank-anchored 重构:只对顶部 r 维子空间做正交化并重缩放尾部奇异值,复杂度从随层宽立方增长降至 O(mnr)。
关键数据:
- 70B 级层形状下,优化器步从 33.9s 降到 3.23s,快 10.5 倍(RTX PRO 6000,batched,rank 64)
- 1.3B 实际训练中优化器步快 2.5 倍,每步训练时间缩短 14%,验证 loss 4.375 与 Muon 在种子噪声内持平(3 seeds)
- 在 DeepSeek V4.1 Flash 上用 16 张 B300,每步训练时间约省 35%(24 卡约 31%,rank 32,不计通信)
团队还给出了谱最速下降的首个 Lean 形式化验证的收敛证明与更新有界证明,Muon 8/8、Echelon 8/8 通过。作者 kimmonismus 评价这是更快的 Muon,并肯定其 Lean 等价性证明。
所属事件:Echelon 优化器发布:较 Muon 提速至 10.5 倍(2 条相关)→
「Infra」频道最新
- YC F26 新公司 Maritime 发布:为 AI Agent 打造托管云基础设施 — ycombinator · 2026-11-17
- 大厂为何忌惮本地 AI:安全、性能与成本的三重优势 — DavidLinthicum · 2026-11-17
- 微软公开 Maia 300 细节:fp8 达 4719 Tflop/s,超 99% 理论峰值 — thoefler · 2026-11-17
- 开源权重模型企业使用率升至 30%,主因是省成本 — Terminator857 · 2026-11-17
- 部署模型到 Cerebras 前,开发者实际要踩哪些坑 — SpottyMoggy · 2026-11-17
- SkyPilot 入选 The Information 50 大最具前景初创,估值 3.45 亿美元 — skypilot_org · 2026-11-17