Hyperball优化器突破Muon瓶颈实现30%加速

一项新研究提出了名为 Hyperball 的优化器封装器，旨在解决 Muon 等矩阵优化器在模型规模扩大时性能增益递减的问题。该机制突破了传统权重衰减的局限，有效提升了大模型训练的扩展性。实验表明，Hyperball 能够实现 20% 至 30% 的预训练加速，为大规模语言模型的优化提供了新方案。

2026-08-11 ~ 2026-08-12 · 2 条相关

• Muon优化器新突破：Hyperball实现20-30%预训练加速 — teortaxesTex · 2026-08-11
• 论文提出 Hyperball 优化器，结合 Muon 实现 20-30% 预训练加速 — burny_tech · 2026-08-12