从权重范数几何视角解读 MuonH 优化器原理

miyashita03 发布文章《Understanding MuonH (Hyperball) through Weight Norm Geometry》,从权重范数几何视角解释 MuonH(Hyperball)优化器的工作原理。文章核心观点是:当网络具备尺度不变性时,将权重乘以正常数不改变输出与损失,此时梯度与权重垂直。借助这一几何性质,可以更直观地理解 MuonH 的优化行为。

2026-10-27 ~ 2026-10-27 · 2 条相关