从权重范数几何理解MuonH:尺度不变网络中梯度垂直于权重
jasondeanlee · x · 2026-10-27
文章:通过权重范数几何理解 MuonH(Hyperball)
- 核心概念:当网络具备尺度不变性(scale invariance)时,将权重乘以正常数不改变输出和损失,此时梯度始终垂直于权重方向。
- 这种几何视角帮助解释 Muon 类优化器(Hyperball)为何有效,以及它如何与归一化层协作。
- 引用讨论:@xuhengli 指出 RMSNorm/LayerNorm 正是通过让网络尺度不变来改变训练动力学;更宏观的开放问题是各种尺度控制方法——归一化层、MuP、优化器(Adam/Muon)——如何协同工作,其团队正在研究。
「研究」频道最新
- NeurIPS 论文 BreakingWeb：强浏览器 Agent 在受控变体上近半数失败 — shuyanzh36 · 2026-10-27
- ACL 试行人类与 AI 分别独立评审，三角互证取代混合使用 — _akpiper · 2026-10-27
- temperature 0 为何不确定：Qwen3-235B 跑千次出 80 种答案 — JensHonack · 2026-10-27
- EMNLP 研究：LLM 面对偏见文本仅 0.4% 拒绝指认归属群体 — ZhijingJin · 2026-10-27
- EMNLP 论文：LLM 当偏见评审时自陷「二阶偏见」，仅 0.4% 拒答 — ZhijingJin · 2026-10-27
- 开源 OntoGr Agent Memory:每条事实带引文、来源与双时间轴 — vm324234 · 2026-10-27