Polar Switch 优化 Muon 正交化,运行时间最多降低 18.7%
weijie444 · x · 2026-10-28
Zhehang Du 与 Weijie Su 发布论文《Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits》,指出五次(quintic)Newton–Schulz 迭代对 Muon 优化器并非最优。
核心方法
- Polar Switch 用简单的多项式电路(polynomial circuits)做梯度矩阵正交化:电路被定义为在少数方阵缓冲区上的对称矩阵乘积短序列,k 个乘积可构成最高 2^(k+1)+1 次的奇多项式家族。
- 通过数值最小化极逼近误差的最坏情况界来选择乘积序列、系数与组合方式,约束条件包括对称矩阵乘内核的 FLOP 预算和半精度下的舍入稳定性。
性能数据
- 方阵上比 5 次五次迭代(如 Polar Express)运行时间低 15.5–18.7%;
- 长宽比 3.25/3.5/8 的矩形矩阵上比 Gram Newton–Schulz 低 8.6–16.2%,且内存更少;
- 逼近精度相当。
论文已在 Modded-NanoGPT #91、Qwen3-0.6B 等预训练中验证,代码与论文均已开源。
「研究」频道最新
- AVERT 研究启动：量化自动驾驶能否减少创伤 — zakkohane · 2026-10-29
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- 研究演示现「上下文分词」涌现行为,层级网络完胜传统分词器 — willdepue · 2026-10-29
- 467页图解《心理学与神经科学原理》上线,可配 AI 导师阅读 — burkov · 2026-10-29
- 新工作论文：AI 可依据预注册文件预测经济学处理效应 — birchlse · 2026-10-29
- kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权 — kalomaze · 2026-10-29