腾讯新论文:按路由贡献剪枝 MoE 神经元,砍 25% 参数性能几乎不掉

腾讯团队发布论文《Understanding Mixture-of-Experts Language Models Beyond Expert Boundaries》,研究发现 MoE 模型的领域能力并不局限于单个专家内部,而是藏在跨专家的神经元中。基于路由贡献对神经元进行剪枝,可削减约 25% 的参数,模型性能仅下降 2-9%,仍保留 91-98% 的原始能力,为 MoE 模型的高效压缩提供了新思路。

2026-11-14 ~ 2026-11-14 · 2 条相关

• 腾讯论文:按路由贡献剪神经元,MoE 砍 25% 仍保 91-98% 性能 — rohanpaul_ai · 2026-11-14

另有 1 条近重复转述:rohanpaul_ai