Kimi 研究员：Muon 在小型超人类智能体上大幅超越 Adam
jsuarez · x · 2026-08-29
研究者 jsuarez 澄清自己的工作不在 LLM 上，而是在游戏、无人机、驾驶、商业模拟等多种任务上训练小型超人类智能体。在两组都做了完整超参扫描的前提下，Muon 优化器在这些任务上相对 Adam 有大幅提升。讨论背景是关于交叉熵预训练的模式覆盖与 RL 探索差异的假说。
所属事件:Muon 优化器在小型超人类智能体上大幅超越 Adam(2 条相关)→
「研究」频道最新
- Anthropic 展示 AI 研究员自主改进其他模型的对齐 — VraserX · 2026-08-30
- 周末资源：从第一性原理推导位置编码 — zainhas · 2026-08-30
- COLM 论文用梯度归因揭示 LLM 能力来源 — ziv_ravid · 2026-08-30
- Toby Ord 论文指递归自我改进受物理限制 — Exponential View (Azeem Azhar) · 2026-08-30
- Fable 与 Sol 形式化验证文献，首次找出论文可修复错误 — Sauers_ · 2026-08-30
- Mark Schmidt 发布 ICML 教程视频：数值优化理论在 2026 年还重要吗 — MarkSchmidtUBC · 2026-08-30