Inderjit 证明 Muon 是 Shampoo 优化器的特例
_arohan_ · x · 2026-11-13
优化器研究者 Inderjit(REDU 之父)向 John Langford 与 CoreAI 团队道贺,并确认「Muon 是 Shampoo 的一个特例」。Arohan 随即转发,称 Dimuon 与 Distributed Shampoo「英雄识英雄」。
这一结论把近来在 LLM 训练中走红的 Muon 优化器与经典二阶优化方法 Shampoo 在理论上打通,对理解分布式二阶优化方法的关系脉络有参考价值。
「研究」频道最新
- Chronicle 首个临床试验落地:AI 选患者,携手 Prolong 测试 ME/CFS 药物 — thekaransinghal · 2026-11-13
- Salesforce 发布 A²-Bench：500 场景拆解多智能体协作的 20 种失败模式 — mohitban47 · 2026-11-13
- 研究员认为矩阵优化器之间 CE 差距仅 5-10% — _arohan_ · 2026-11-13
- 普林斯顿等研究：最优优化器随 batch size 变化，排名会反转 — _arohan_ · 2026-11-13
- Pasquinelli 提出 AI 科技史四论题:从算法思维到思考机器 — ArtificialOther · 2026-11-13
- Chrome 团队把编码 agent 本地向量检索从 507MB 压到 7 行循环,查询仅 30µs — gaganghotra_ · 2026-11-13