CMU 论文:预训练数据够多时,微调后 AdamW 反超 Muon
AdtRaghunathan · x · 2026-11-04
rosinality 转发 CMU 团队新论文(arXiv:2611.03633),质疑 Muon 优化器的微调优势是否随预训练规模逆转,帖子附上论文首页与关键图表。
核心发现
- Muon 在预训练中比 AdamW 更快降低 loss,但预训练数据预算超过一定规模后,AdamW 微调后的下游表现反超 Muon。
- 模型越大,AdamW 反超所需的预训练 token-parameter 比越小:StackMathQA 上 30M 模型交叉点为 TPR 320,600M 模型降至 10。
- 小数据预算下 Muon 遗忘更少、学习-遗忘权衡更优;大数据预算下趋势反转。
解释框架:论文把微调视为对输出的扰动,提出 margin-to-spread ratio(正确 logit 高出错误 logit 的幅度除以错误 logit 的散布宽度)。语言模型中小数据预算下 Muon 该比值更大,大数据下 AdamW 更大,与微调趋势一致;并在线性联想记忆上证明单步更新后梯度下降的该比值随数据预算增长反超 Muon。
实验覆盖 OLMo 风格 30M–600M 模型、150M–15.4B token 预训练、约 600 次预训练与 29000 次微调运行。
所属事件:CMU 论文:预训练数据充足时 AdamW 微调反超 Muon(2 条相关)→
「Infra」频道最新
- SpaceX 推出 Starfall 轨道工厂服务：载货 1000kg、全程 Starlink 联网 — heyshrutimishra · 2026-11-04
- AI 市场集体异动:Grok 停摆、Intel 四天暴跌 42%、OpenAI 估值下调 — JensHonack · 2026-11-04
- 用 Lean 形式化 PTX 指令集,可证明 AI 写的 GPU 内核正确 — gharik · 2026-11-04
- Meta 拟发债 250 亿美元投 AI 基建，S&P 下调评级后仍豪赌 — ns123abc · 2026-11-04
- Snowflake 发布 Cortex Training:无服务器微调开源权重模型,成本号称低 61% — StasBekman · 2026-11-04
- RISC-V Day Tokyo 2026 秋季议程公布，现场展出谷歌 TPU v3 — DavidBennett__ · 2026-11-04