Echelon 优化器发布:较 Muon 提速至 10.5 倍

Evolving Machines 发布研究博客,推出 Muon 优化器的 rank-anchored 重构版 Echelon:仅对顶部 r 维子空间做正交化并重缩放尾部奇异值,从而降低复杂度,精度保持 Muon 水平的同时速度提升至 10.5 倍。团队还用 Lean 形式化证明了 Echelon 与 Muon 的等价性,相关成果获得社区称赞。

2026-11-17 ~ 2026-11-17 · 2 条相关