新理论给出 Muon 何时胜过 Adam 的精确判据：看数据谱与目标难度
fpedregosa · x · 2026-11-04
一篇新 ML 理论工作构建了 Muon 与 SignSGD 对比的可精确求解理论，回答「Muon 何时打败 Adam」。
- 核心结论取决于数据：Muon 在陡峭谱（steep spectra）且目标困难时占优；SignSGD 在平坦谱或目标容易时胜出。
- 对各向异性数据（如幂律谱）下 Muon 与 Adam 的表现有直接启示。作者 poseypaquet 以 10 条推特的 theory thread 形式展开，合作者 cypaquette 称其「对 Muon 与 Adam 在各向异性数据下的含义很酷」。
「研究」频道最新
- 字节 Seed 发布 Recycler：隐藏状态回收实现近乎零成本潜推理 — JohnCLangford · 2026-11-04
- 直接改权重胜过微调：π0.5 叠衣任务成功率达 75% — ZeeshanZiaML · 2026-11-04
- 新「4A」框架拆解 AI 治理：行动、访问、权威、分配四问分开谈 — Brighter-Side-News · 2026-11-04
- 斯坦福 RoboArchitect：代码模型自动改写机器人控制代码，成本不到 150 美元 — rohanpaul_ai · 2026-11-04
- UIST 2026 论文 LitPivot：帮你把被抢发的研究点子改得更酷 — IanArawjo · 2026-11-04
- Idol Turbo 蒸馏版上线：单图生成百万级 3D 高斯，5 步仅需 0.75 秒 — _akhaliq · 2026-11-04