Muon Learns More Robust and Transferable Features than Adam
Tianyu Ruan, Fengzhuo Zhang, Shuche Wang, Shihua Zhang
cs.LG, cs.AI
2026-06-08
对齐架构和训练预算后,Muon预训练的模型在损坏图像与错字文本上整体胜过Adam和SGD,下游迁移也更强;ViT-S层均有效秩6.88,Adam为1.86,SGD为3.39。
Muon 降损失已经有速度上的背书。论文引用的先前工作里,墙钟时间接近快一倍,DeepSeek 和 GLM-5 的生产训练也在用它。快,只说明损失到得更早。同一笔 epoch 和 token 花出去,特征抗不抗损坏、换任务好不好用,先前没有量过。
这篇把特征质量拆成抗损坏和可迁移。前者看腐蚀后的图像和打错的字,后者看冻结骨干只训线性头,或整网用同一配方微调。隐藏状态上看两件事:logit margin 是正确类与最强干扰项的 logit 差,间隙大,噪声不容易把名次翻掉;effective rank 是奇异值能量铺开的方向数,越高,表示占用的正交方向越多。
Muon 全称 Momentum Orthogonalized by Newton-Schulz,把每层权重看成矩阵。动量梯度的非零奇异值全部压成 1,只留正交方向当更新。奇异值是各方向的拉伸倍数,拉平之后,最响的方向没法独占步长。完整奇异值分解太贵,训练用几步 Newton-Schulz 迭代近似。Adam 按坐标除以该坐标梯度平方的滑动均方根,坐标之间各算各的。SGD 走原始梯度。
对比锁死架构、数据、训练量和评测,学习率与调度按优化器分开搜。视觉模型是 ImageNet-1K 上的 ResNet-18(11M,100 epoch)和 ViT-S(22M,300 epoch,对齐 DeiT)。语言模型是 FineWeb 上的 GPT-2(12 层,124M)和 GPT-2 Medium(24 层,354M)。token 至少为 Chinchilla 配比(常用的 token 与参数比)的 2 倍,讨论限于该比例的 10 倍以内。GPT 上 SGD 基本训不动,语言侧只比 Muon 和 Adam。三个随机种子。
损坏集上不再训练。图像用 ImageNet-C,15 种损坏、5 档强度,分成噪声、模糊、天气、数字处理。文本是新建的 FineWeb10B-C,分词前做插入、删除、键盘邻键替换和相邻字符对调。
迁移分两路。视觉冻结骨干,在倒数第二层上训线性分类器,数据集为 EuroSAT、Food-101、Flowers-102、Stanford Cars。语言把两边的预训练权重都用同一个 Adam 做全参微调,数据为 Alpaca、Dolly 15K、WizardLM。微调优化器相同,差距主要来自初始化。
隐藏状态只看 Transformer。每层训一个线性探针,把表示解成类别或词表后再算 margin。CNN 特征图太高维,ResNet 没做这项。再把一层中所有样本的隐藏向量叠成矩阵,计算 effective rank 和 Top-10 能量,后者是最大 10 个奇异值占谱能量的比例。
单层线性分类用来接上这两个量。类分成 m 个粗块、每块 n 个细类,特征是共享成分叠加私有成分,a 不大于 b,好比「狗」上再叠一个「比格」。零初始化、无穷小步长、零动量下,Adam 退化成逐坐标取符号。表示只活在两个互补方向里。Muon 把奇异值拉平,不平衡比 ρ 固定为 √(a²n+b²)/b;Adam 是 1+an/b,严格更大。损失还没进末端时,GD 的 ρ 也更大。同一损失下,ρ 越小,margin 和有效秩越大。
四个损坏设置里,平均分都是 Muon 最高。ViT-S 四族图像损坏全部领先。GPT-2 与 GPT-2 Medium 在四类错字上的困惑度全部更低。ResNet-18 平均准确率最高,噪声和天气最好,模糊与数字处理略低于 SGD。CNN 上 SGD 胜过 Adam,Transformer 上相反。ImageNet-C 的准确率、FineWeb10B-C 的困惑度差值,正文都没有列出。
损坏数据上,ViT-S 末层 margin 为 Muon 3.29、Adam 3.13,高 5%;SGD 为 2.74,Muon 高 20%。优势在最后两层被拉开。GPT-2 大部分层也高于 Adam,逐层读数没给。词表大小 50257,正确的下一个 token 经常不是第一名,margin 可以为负。
| 模型 | 指标 | Muon | Adam | SGD |
| ViT-S 末层 | logit margin | 3.29 | 3.13 | 2.74 |
| ViT-S 层平均 | effective rank | 6.88 | 1.86 | 3.39 |
| ViT-S 层平均 | Top-10 能量 | 0.890 | 0.964 | 0.920 |
| GPT-2 层平均 | effective rank | 16.00 | 11.12 | 未比较 |
| GPT-2 层平均 | Top-10 能量 | 0.827 | 0.863 | 未比较 |
ViT-S 有效秩是 Adam 的三倍多、SGD 的约两倍。GPT-2 为 16.00 对 11.12,Top-10 能量 0.827 对 0.863。第 7 到 10 层 SGD 的有效秩更高,更深层回到 Muon。
视觉 8 个骨干和数据集的组合,Muon 持平或超过 Adam 与 SGD。Alpaca、Dolly、WizardLM 上,两种规模都是 Muon 预训练再用同一个 Adam 微调,困惑度更低。具体点数正文没写。
m、n 同阶趋于无穷、ε 落在 (0, log C) 时,Muon 的 margin 和有效秩严格大于 Adam;对 GD 要去掉 exp(−c√(n log n)) 以下那段过训练。嵌入的绝对余弦相似度在聚类重排后呈块状,用来支持双成分假设。
先前谈 Muon,账大多算在墙钟上。这篇把 epoch 和 token 对齐,看的是特征。到 GPT-2 Medium 和 ViT-S,抗损坏、迁移、margin 和有效秩同向。冻结线性探针读到的是预训练特征,微调还没插手。
已在用 Muon 的人,可以把 margin 和有效秩当检查项。还在 Adam 或 AdamW 上的大模型,这组结果不够用来换优化器:规模停在 354M,下游点数正文没给。
论文写明的限制是模型族:只覆盖语言模型和视觉分类器,扩散模型没有做。
证明更窄。动量设为 0,步长无穷小,Adam 的 β1 和 β2 也是 0,只剩符号。动量缓冲和 Newton-Schulz 近似没有进定理。数据是两段正交 one-hot,并要求 m、n 一起趋于无穷。块状相似度来自层次聚类重排,聚类会把近邻赶到一起,旁证偏弱。
语言侧没有 SGD。全参微调会改写特征,困惑度不能全记在预训练上。ResNet-18 的模糊和数字损坏略输 SGD。对抗鲁棒、AdamW 和生产规模复现都没有做。GD 的优势也限在损失还没极低的区间。