逆向工程优化器： recovering Dimuon 更新背后的 Polar Express 指纹
anpaure · x · 2026-10-29
anpaure 发布了一组对 Muon 系优化器（Dimuon/Polar Express）的逆向工程分析线程，展示了如何从更新量反推其内部机制：
- 恢复的更新方向为 D = L · PE(L · M · C) · C：L 和 C 是上一步动量行/列能量的逆四次方根，分别在正交化前后施加；Polar Express 在 FP16 下运行，动量以 BF16 存储。
- 更新大小遵循 lr·√r·(r/32)^0.175，精度约百万分之一；奇异值上带有 Polar Express 的「指纹」（配图显示其与 Muon 五步 Newton-Schulz 的奇异值曲线明显不同）。
- 意外发现：即使 β = 0，仍存在历史效应——上一步动量还为 preconditioner 提供输入。
- 配图还展示受控实验区分各机制：conditioner 指数不对称（0/0.5 等）会带来 13–20% 的 RMS 更新误差，而裁剪位置几乎不影响结果。
所属事件:开发者逆向复现 Dimuon 优化器并开源实现(5 条相关)→
「研究」频道最新
- 伯克利等提出信息论缩放律：可预测扩散模型的记忆化与 FID — LucaAmb · 2026-10-29
- ICLR 审稿人晒评分:五篇全打 1 分,最低 2 分 — chhaviyadav_ · 2026-10-29
- kalomaze 质疑 hnet 基线:有效深度不匹配且未报 wall clock — kalomaze · 2026-10-29
- AVERT 研究启动：量化自动驾驶能否减少创伤 — zakkohane · 2026-10-29
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- 研究演示现「上下文分词」涌现行为,层级网络完胜传统分词器 — willdepue · 2026-10-29