普林斯顿等提出 Hyperball 优化器，突破大模型训练瓶颈
burkov · x · 2026-08-14
普林斯顿、斯坦福和清华大学的研究团队联合发布了名为 Hyperball 的优化器封装工具。它旨在解决 Muon 等基于矩阵的优化器在模型规模扩大时性能提升递减的问题。
核心机制
- 问题根源：以往优化器的性能衰减不仅在于优化器本身，更在于权重衰减在训练中控制权重大小的方式。
- Hyperball 方案：它同时固定了权重矩阵及其优化器更新的大小（基于矩阵所有条目的欧几里得长度）。这使得学习率能够直接控制矩阵在方向上的变化，而不是通过权重衰减间接产生。
实验效果
在参数量最高达 12 亿的 Qwen3 风格模型上，结合 Hyperball 的 Muon 优化器展现出了更优异的训练效果。
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16