Muon 预训练损失更低，但大规模数据下微调后反输给 AdamW
AdtRaghunathan · x · 2026-11-04
一项优化器与数据联合研究带来反直觉发现：Muon 在预训练阶段确实能取得比 AdamW 更低的损失，但其优势能否延续到微调之后，取决于预训练数据规模——当预训练数据预算足够大时，AdamW 微调后的表现反而反超 Muon。
这意味着"预训练损失更低=最终模型更好"的直觉并不总是成立，优化器的选择需要和预训练数据规模、下游微调流程放在一起联合评估。
所属事件:CMU 研究：预训练数据够大时，微调后 AdamW 反超 Muon(5 条相关)→
「研究」频道最新
- 《机器心理学》登陆 Science Advances：用心理学方法研究 LLM — scychan_brains · 2026-11-04
- CMU 研究：Agent Harness 工程无需重训模型即可大幅提升能力 — niloofar_mire · 2026-11-04
- STOC 评审趣闻：两篇论文分别宣称证明 P=NP 与 P≠NP — thomasahle · 2026-11-04
- 斯坦福团队提出 Hint 缩放法,算力省 5600 倍预测 GSM8K 成绩 — stanfordnlp · 2026-11-04
- 「模型改模型权重」自改进初显威力,但缺论文与硬数据难言 RSI — ccerrato147 · 2026-11-04
- AI 改权重神话被拆解：Atari 实为 89 比 53,数学提升仅 44.6% 到 48.1% — ccerrato147 · 2026-11-04