优化器改变模型容量？谱缩放定律揭示 AdamW 弱于 Muon
YouJiacheng · x · 2026-08-18
NYU 研究发现，Transformer 的实际表征容量不仅取决于架构，还深受优化器几何性质影响。在相同架构和训练设置下，不同优化器（如 AdamW 与 Muon）会产生截然不同的谱缩放定律。硬秩缩放能更好地区分优化器效能：AdamW 表现较弱，而 Muon 能实现更强的硬秩增长，意味着增加的 FFN 宽度被更高效地转化为可用容量。
「研究」频道最新
- 训练模型不检查数据？那是模型在训练你 — kalomaze · 2026-08-18
- 研究发现 28 万仓库含 380 万个 Agent 技能文件 — dair_ai · 2026-08-18
- 300 页专著：评估与操作可靠编码 Agent 的系统工程 — heyneighbor · 2026-08-18
- 清华字节开源CUDA Agent:强化学习写CUDA超越人类专家 — anselm · 2026-08-18
- Jason Wei 参与论文探讨“机器学习”定义与智能体新范式 — lateinteraction · 2026-08-18
- 探讨 LLM 推理与知识的解耦：计算浪费论引发的反思 — lateinteraction · 2026-08-18