CMU 论文:预训练数据充足时 AdamW 微调反超 Muon

CMU 团队(含 Catherine Li、Andrej Risteski、Aditi Raghunathan 等)发布新论文(arXiv:2611.03633),研究 Muon 优化器的预训练优势能否延续到微调阶段。核心发现是:当预训练数据量足够大时,经过微调后 AdamW 的表现反超 Muon,质疑了 Muon 微调优势的普遍性。该论文由 rosinality 转发后引发关注。

2026-11-04 ~ 2026-11-04 · 2 条相关