腾讯 MoE 新论文:领域能力藏在跨专家神经元,剪 25% 只掉 2-9%
rohanpaul_ai · x · 2026-11-14
腾讯论文《Understanding Mixture-of-Experts Language Models Beyond Expert Boundaries》(arXiv:2611.13975)质疑了「每个专家对应一个领域」的常见直觉——已有研究显示 MoE 路由更多跟随 token 身份与句法模式,而非领域专长。
- 提出 RAMP(Routing-Aware Magnitude Profiling),用混合领域校准数据在神经元层面定位领域专业计算:同领域多源样本的专业神经元重叠 58-74%,跨领域仅 15-24%;62-82% 的领域专属神经元位于相应路由偏好专家中,专家级路由偏好与神经元富集呈正相关(Spearman 中位数 0.42-0.71)。
- 追踪三个全开源 MoE 家族的预训练与后训练过程发现:预训练期间神经元重要性持续重组而专家级排名相对稳定,后训练基本保留神经元排名。
- 据此提出 RAMPr 剪枝,跨专家选择神经元以均衡保留多领域能力:6 个模型上保留 75% 神经元平均保持 91-98% 原始性能;保留 50% 时显存降 36-43%,批量 prefill 吞吐提升 17-39%。
所属事件:腾讯新论文:按路由贡献剪枝 MoE 神经元,砍 25% 参数性能几乎不掉(2 条相关)→
「Infra」频道最新
- SGLang 正式并入 NVIDIA AI Enterprise,NIM 认证微服务上线 — ying11231 · 2026-11-14
- LMSYS 携手 NVIDIA 实测：Vera CPU 跑沙盒，agentic RL 训练单回合快 11% — ying11231 · 2026-11-14
- Databricks AI 自写 GPU 内核获 Meta 内核大赛亚军,提速 2.5 倍 — Yuchenj_UW · 2026-11-14
- 全球流通 12 亿块 GPU,人均七分之一：「如何武装另外六人？」 — shakoistsLog · 2026-11-14
- 摩根士丹利：谷歌 TPU 占全球算力需求 35%,仅比英伟达低 1 个点 — cgarciae88 · 2026-11-14
- Anthropic 营收 6 季增 45 倍算力仅增 10 倍，毛利率升至 85% — peterwildeford · 2026-11-14