谱收缩新框架改进 Muon 训练,GPT-2 预训练验证损失一致下降
hankyang94 · x · 2026-09-28
Haoran Sun 与 Shucheng Kang 的新研究提出 谱收缩（Spectral Deflation） 框架，用于 Muon 与半定规划中的免分解矩阵滤波。
- 共性问题：从用 Muon 做 LLM 预训练，到用 ADMM 做大规模半定优化，固定深度多项式矩阵滤波存在同一瓶颈——归一化后少数主导谱分量会压缩其余谱，显著降低滤波精度。
- 方法：收缩掉主导分量，发展成通用的谱收缩框架，并应用于两个截然不同的场景。
- 结果：在 GPT-2 预训练中，收缩一致改善验证损失；在半定规划中，在相近投影时间下显著降低免分解 ADMM 的 KKT 残差。
「Infra」频道最新
- ZeroHedge 制「2027 参考图」：年内 AI 数据中心发债已 5680 亿美元 — AIFlow_ML · 2026-09-28
- 报告称数据中心面临 8000 亿美元收入缺口与 50GW 能源缺口 — AIFlow_ML · 2026-09-28
- Pi + llama.cpp 跨会话缓存 20k 初始提示词，秒开新会话 — ea_man · 2026-09-28
- 推理公司经济学首份审计数据:MiniMax 18个月扭亏至24.6%毛利 — AccBalanced · 2026-09-28
- 云南锗业财报:InP 原料铟本土供应紧张,放开管制也无货可出 — pstAsiatech · 2026-09-28
- Apple 端侧模型 fm 搭决策小模型 Jev，路由测试全对比 — jasonkneen · 2026-09-28