腾讯论文:按路由贡献剪神经元,MoE 砍 25% 仍保 91-98% 性能
rohanpaul_ai · x · 2026-11-14
腾讯团队在论文《Understanding Mixture-of-Experts Language Models Beyond Expert Boundaries》中提出:MoE 模型的领域能力(数学、代码等)并非整专家独占,而是以神经元形式分散在多个专家中。
- 团队提出 RAMP(Routing-Aware Magnitude Profiling)指标,按路由加权的贡献幅度为每个神经元打分:同一领域的专业神经元在不同样本间重叠 58-74%,跨领域仅 15-24%。
- 基于此提出 RAMPr 剪枝方法,跨专家按分数选神经元而非整个专家为单位。在 6 个模型上,保留 75% 神经元时可保持 91-98% 原始性能;保留 50% 时 GPU 显存降低 36-43%,批量 prefill 吞吐提升 17-39%。
- 训练动力学观察:预训练各 checkpoint 之间神经元重要性持续重组,而专家级重要性排名相对稳定;后训练基本保留神经元排名。
结论:压缩 MoE 模型时,应按路由贡献在专家内部剪神经元,而不是把每个专家当作不可拆分的整体。
所属事件:腾讯新论文:按路由贡献剪枝 MoE 神经元,砍 25% 参数性能几乎不掉(2 条相关)→
「Infra」频道最新
- 从 25% 到 100%：开发者把全部 agent 工作流搬进 Mac Mini 本地跑 — josh_bickett · 2026-11-14
- 英伟达为 AI 客户兜底 5300 亿美元，这笔循环融资的算术能撑住吗 — iamKierraD · 2026-11-14
- RTX 5070 Ti 超频与启动参数对 ComfyUI 出图速度实测:结果意外 — AnalElder · 2026-11-14
- Bernstein 测算：Neocloud 每兆瓦收入约为比特币矿企的 6 倍 — Beth_Kindig · 2026-11-14
- ZONOS3-Mini 发布:MoE 架构 TTS 可在手机和 MacBook 上实时运行 — cocktailpeanut · 2026-11-14
- 「推理元素周期表」梗图:12 种 LLM 推理技术一图看懂 — sophiamyang · 2026-11-14