谱收缩新框架改进 Muon 训练,GPT-2 预训练验证损失一致下降
hankyang94 · x · 2026-09-28
Haoran Sun 与 Shucheng Kang 的新研究提出 谱收缩(Spectral Deflation) 框架,用于 Muon 与半定规划中的免分解矩阵滤波。
- 共性问题:从用 Muon 做 LLM 预训练,到用 ADMM 做大规模半定优化,固定深度多项式矩阵滤波存在同一瓶颈——归一化后少数主导谱分量会压缩其余谱,显著降低滤波精度。
- 方法:收缩掉主导分量,发展成通用的谱收缩框架,并应用于两个截然不同的场景。
- 结果:在 GPT-2 预训练中,收缩一致改善验证损失;在半定规划中,在相近投影时间下显著降低免分解 ADMM 的 KKT 残差。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16