开发者逆向复现 Dimuon 优化器并开源实现

开发者 anpaure 逆向工程了 Thinking Machines 的 Tinker 平台几天前发布的 Muon 微调优化器变体（Dimuon / Polar Express），恢复出其内部机制并开源 PyTorch 实现（github.com/anpaure/dimuon）。复现覆盖 8 个模型家族、rank 1–128，误差低于 1%。

已确认

• 该工作源于 @CreativeMath 提出的想法，由 anpaure 实现逆向工程。
• 逆向方法：在同权重、同一 batch 上同时运行 Adam 与 Dimuon，将 Adam 的 betas 设为 0、lr = ε = 10,000，其更新量 ≈ −G，反解 Adam 公式即可精确恢复梯度 G——相当于把 Adam 当作梯度观测器。
• 恢复的更新方向为 D = L · PE(L · M · C) · C，其中 L、M、C 为相应矩阵（帖子未给出完整定义细节）。
• 更新大小遵循 lr·√r·(r/32)^0.175，与实测误差约在百万分之一量级。
• 奇异值携带 Polar Express 的指纹：配图在 gpt-oss-20b、rank 16、首步（无历史）条件下对比了 Muon 与五步 Polar Express，两者曲线截然不同。
• 开源仓库：github.com/anpaure/dimuon；验证覆盖 8 个模型家族、rank 1–128，误差低于 1%。

为什么重要

• 这表明闭源发布不久的优化器即可被系统性地逆向复现并开源，对社区理解与复用前沿微调技术有直接价值。
• 奇异值指纹与更新规模的精确公式为区分 Muon 与 Polar Express 系变体提供了可检验的判据，有助于后续优化器研究与改进。

2026-10-29 ~ 2026-10-29 · 5 条相关

• 巧用 Adam 作梯度观测器：设 betas=0、lr=ε=10⁴ 可精确反推 G — anpaure · 2026-10-29
• 优化器奇异值指纹：五步 Polar Express 与 Muon 的曲线截然不同 — anpaure · 2026-10-29
• 逆向工程优化器： recovering Dimuon 更新背后的 Polar Express 指纹 — anpaure · 2026-10-29
• 【源头】开发者逆向出 Dimuon 优化器并开源 PyTorch 实现，8 个模型家族验证误差低于 1% — anpaure · 2026-10-29
• 【源头】逆向复现 Tinker 的 Muon 微调优化器，8 个模型族误差低于 1% — anpaure · 2026-10-29