4000+模型实测：Muon 提速幅度随规模缩水至 10%

_arohan_ · x · 2026-11-13

新论文《Fantastic Pretraining Optimizers and Where to Find Them》通过训练超过 4000 个模型来寻找最快的预训练优化器。核心结论：宣称相对 AdamW 有 2× 提速的说法基本站不住脚，需警惕基线调参不足或实验规模有限。以 Muon 为例：在 <0.5B 模型上约有 40% 提速，但在 1.2B（8× Chinchilla 配比）时只剩约 10%。转发评论称「各种优化器最后都一样，没有 alpha 剩下了」。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →