从权重范数几何解读 MuonH(Hyperball)优化器原理
burny_tech · x · 2026-10-27
miyashita03 发布文章《Understanding MuonH (Hyperball) through Weight Norm Geometry》,从权重范数几何视角解释 MuonH 优化器的工作机制。
核心出发点是尺度不变性:当网络具有尺度不变性时,将权重乘以任意正常数不会改变输出与损失,此时梯度与权重方向垂直。文章据此分析按比例缩放权重(如乘以 c)对优化动态的影响,为理解 Muon 类优化器为何有效提供几何直觉。
所属事件:从权重范数几何视角解读 MuonH 优化器原理(2 条相关)→
「研究」频道最新
- 马普所「外星重组」论文:让 AI 搜寻人类认知盲区外的概念组合 — profjamesevans · 2026-10-27
- 播客:James Evans 谈推理模型模拟「思想社会」与自复制程序实验 — profjamesevans · 2026-10-27
- 单核 24GB/s：新开源 AVX-512 哈希函数 PikasekoHash-256 发布 — ssh4net · 2026-10-27
- ETH 反驳共享库现 Anthropic 文件夹，疑藏同一结果新证明 — NoahSD · 2026-10-27
- AI 推翻指数时间假说?附图对比声称的次指数算法与 2ⁿ 增长曲线 — robleclerc · 2026-10-27
- OpenAI 疑似进展触及 3-SAT，指数级难题被指遭挑战 — micoolcho · 2026-10-27