从权重范数几何理解 Muon 超球面：尺度不变性或出乎意料
fpedregosa · x · 2026-10-28
引用一篇新文章《Understanding Muon (Hyperball) through Weight Norm Geometry》，从权重范数几何角度解释神经网络的尺度不变性：当网络尺度不变时，权重乘以任意正常数不改变输出和损失，此时梯度与权重方向垂直。作者指出这些看似平淡的事实常令听众相当意外。文章将这一几何视角与 Muon 优化器联系起来。
所属事件:新文章从权重范数几何解读 MuonH 优化器(3 条相关)→
「研究」频道最新
- Axiom 代理给 CFSG 找出 5000 多处勘误，所幸全部可修复 — burny_tech · 2026-10-28
- 人类史上最大数学证明完成机器验证：Axiom 用 Lean 形式化 15000 页 CFSG — burny_tech · 2026-10-28
- MiRL：锁定高频错误做 RL,不到 200 环境追平终端 Agent 全量训练 — mohitban47 · 2026-10-28
- YC 初创 Wondersearch 宣称不用 embedding 和向量库，检索效果持平 OpenAI — antoine_chaffin · 2026-10-28
- AAAI/ICLR 审稿人:约半数评审疑似 AI 生成,同行评审告急 — dsmirza · 2026-10-28
- Field–Golubitsky 映射混沌吸引子图鉴:每个圆盘自带 Dₙ 对称性 — S_Conradi · 2026-10-28