Dion3优化器:全栈正交更新让训练提速6倍
keunwoochoi · x · 2026-08-13
Tri Dao 等人发布的新论文 Dion3 提出了一种全栈优化方案，旨在解决 Muon 优化器因 Newton-Schulz 正交化步骤导致的立方级时间开销问题。
- 算法优化：提出 Gram Newton-Schulz 算法降低正交化的浮点运算成本，并利用对称性通过 CuteDSL 内核加速。
- 通信与更新优化：采用 megabatching 策略减少通信开销；提出仅选择动量矩阵的部分行进行正交化的简单更新规则，进一步压缩成本。
- 性能表现：在匹配或改善 Muon 损失值的同时，将优化器单步执行时间最高缩减了 6 倍。Dion3 已作为 Muon 的直接替代方案开源。
「Infra」频道最新
- Red Hat 新推测解码器让 Kimi-K3 吞吐量提升 3.5 倍 — teortaxesTex · 2026-08-14
- AMD 拟发债融资 50 亿美元加码 AI 战 — ns123abc · 2026-08-14
- Merge Gateway推出多模态API，统一访问图像视频音频 — shensi · 2026-08-14
- MasterClass 采用 CoreWeave 算力与 W&B 工具监控其 AI 教学 Agent — wandb · 2026-08-14
- SkyPilot AI Infra Meetup下周二在旧金山举办 — skypilot_org · 2026-08-14
- SanDisk 预测闪存市场爆发：2027 年营收将逼近 5000 亿美元 — zephyr_z9 · 2026-08-13