优化器奇异值指纹：五步 Polar Express 与 Muon 的曲线截然不同

anpaure · x · 2026-10-29

anpaure 线程的后续：更新大小遵循 lr·√r·(r/32)^0.175，误差约百万分之一量级，且奇异值携带 Polar Express 的指纹——配图在 gpt-oss-20b、rank 16、首步（无历史）条件下对比了 Muon 五步 Newton-Schulz 与五步 Polar Express 沿 G 奇异向量的更新分布，两条曲线形态截然不同，Tinker Dimuon 的实测点落在 Polar Express 曲线上，可据此识别优化器身份。另一个意外：β = 0 时仍有历史效应，上一步动量也在提供 preconditioner。