开发者逆向出 Dimuon 优化器并开源 PyTorch 实现，8 个模型家族验证误差低于 1%
anpaure · x · 2026-10-29
开发者 anpaure 公布了对 Dimuon 优化器的逆向工程结果，并开源了 PyTorch 实现（github.com/anpaure/dimuon）。
recovered 的更新方向为 D = L · PE(L · M · C) · C，其中 L、C 分别是上一步动量行/列能量的逆四次方根，作用于正交化前后；Polar Express 用 FP16 运行，动量以 BF16 存储。
与原版 Muon 的主要差异：
- 应用范围：Dimuon 用于每个 LoRA 因子（含输出层，A/B 分别处理）、MoE 专家单独处理、fused gate/up 合为一个矩阵，而 Muon 仅用于隐层 2D 权重；
- 动量：普通 EMA β=0.9（Muon 为 Nesterov EMA β=0.95）；
- 条件化：以上一步动量的行/列能量做对角条件化，Muon 无此步骤；
- 正交化：五个 Polar Express 多项式（Muon 用一次 Newton–Schulz 重复五次）；
- 更新尺度：lr × √r × (r/32)^0.175；可选全局范数梯度裁剪，无 weight decay。
作者在 8 个模型家族、rank 1–128、最多 20 步的设置下验证重建，典型误差低于 1%，并附误差表与图表。
所属事件:开发者逆向复现 Dimuon 优化器并开源实现(5 条相关)→
「研究」频道最新
- BlackboxNLP 口头报告：知识归因探测与 CoT 可监控性 — iatitov · 2026-10-29
- Ivan Titov 将在 BlackboxNLP 讲推理后训练：学新技能还是重塑旧能力 — iatitov · 2026-10-29
- 新研究解析 Muon 优化器为何有效:正交化更新或缓解事实记忆的学习失衡 — burkov · 2026-10-29
- BlackboxNLP 明日在 EMNLP2026 布达佩斯开幕，首场聚焦 LLM 如何阅读 — gsarti_ · 2026-10-29
- QUAN 论文：四元数卷积实数化，精度更高参数更少 — Bryce Grant · 2026-10-29
- Tim Vieira 详解条件泊松抽样：带交互验证的固定大小子集分布 — xtimv · 2026-10-29