Muon 优化器改进：按需选多项式，可省约 0.5% LLM 训练算力
burny_tech · x · 2026-10-20
开发者 Vuk Rosic 分享对 Muon 优化器的改进，可省最多约 0.5% 的 LLM 训练算力：
- 问题：标准 Muon 固定用 5 轮 5 次多项式（Newton-Schulz / Polar Express）把梯度各方向强度拉平，但单一公式并非在所有情形下最优。
- 方法：按三个参数建网格——最弱方向占比（0.0001–0.01）、允许偏离 1 的容差（±0.02–±0.4）、矩阵形状（方阵或 1:4 宽矩阵）——对每个设置穷举 3/5/9/13/17 次多项式轮数组合（每行 1104 种），保留达标且最便宜的公式。
- 结果：如常见目标下 9+9+9 可比标准 5+5+5+5+5 省 33% FLOPs；Muon 本身约占训练的 0.5–2%，整体约省 0.1–0.5%。
- 复用：开源了 muon-formula-grid 仓库（含 grid.json、系数与 picker 页面），建议让 coding agent 测自己模型和数据的方向分布，再从网格选公式或重跑搜索定制。
「Infra」频道最新
- Q-CTRL:容错量子计算蓝图里超 99.5% 的量子比特处于闲置 — MJBiercuk · 2026-10-20
- Nscale 与 Anthropic 再谈 450 亿美元算力大单，规模与 8 月持平 — TechCrunch AI · 2026-10-20
- 5090 与 Strix Halo 实测 Qwen3.8 量化：Gufo 引擎解决工具调用翻车 — awitod · 2026-10-20
- SGLang Summit 赞助商一周从 11 家涨到 36 家,Lip-Bu Tan 等将出席 — satnam6502 · 2026-10-20
- fused DPO loss 并入 NVIDIA TileGym：峰值内存省 7.2 倍、快 1.27 倍 — blelbach · 2026-10-20
- GitHub 宕机时，GitHub 怎么把代码推给 GitHub 来恢复自己？ — VeryWellVersed · 2026-10-20