CMU 研究:预训练数据量足够大时,微调后 AdamW 反超 Muon
AdtRaghunathan · x · 2026-11-04
CMU 研究者(含 Catherine Li、Andrej Risteski、Aditi Raghunathan 等)研究了优化器 Muon 的预训练优势能否延续到微调阶段。
- 在预训练阶段,Muin 的 loss 确实低于 AdamW,但微调后的表现取决于预训练数据规模
- 小数据预算下:Muon 微调后仍占优
- 数据预算超过一定规模后:AdamW 微调后反超 Muon
结论:优化器的选择优势并非在所有规模下都成立,数据规模会逆转 Muon–AdamW 的微调差距。
所属事件:CMU 研究：预训练数据够多时微调后 AdamW 反超 Muon(3 条相关)→
「研究」频道最新
- 超2000条真实选民与LLM对话数据集发布，瞄准选举决策评测 — logangraham · 2026-11-04
- ORNL 论文测算：实用量子计算机需 400 万量子比特、占地 800㎡ — anirbanbandyo · 2026-11-04
- 伯克利等开源 DR Pixel：27B 模型直接读论文图像，匹敌 GPT-5.4 — CShorten30 · 2026-11-04
- 开发者发布尼日利亚法律语料库,覆盖宪法与多部法案供 RAG 使用 — saheedniyi_02 · 2026-11-04
- 把漏洞研究看成拓扑问题：跨审计复用局部证明 — dyn___ · 2026-11-04
- 未来 agent 将自治操作自身权重与记忆，但缺协调策略研究 — sarahcat21 · 2026-11-04