MAEP：免训练按模态剪枝，可将 MoE 多模态模型压缩 90% 专家参数

nota-ai · hf · 2026-11-11

Nota AI 发布论文 MAEP（Modality-Aware Expert Pruning），针对 MoE 架构的多模态大模型提出免训练的专家剪枝框架。作者观察到现代 MoE-MLLM 中专家参数占模型体积 90% 以上（如 InternVL3.5-30B-A3B 与 Qwen3-VL-30B-A3B 在 BF16 下约 58GB 中 54GB 是专家权重），而现有剪枝方法对所有 token 统一聚合专家重要性，忽视了同一专家在视觉与语言处理中角色不同。MAEP 在单次前向传播中按模态分解专家重要性，引入 Delta-H Output（ΔH）等再分配感知指标衡量剪除专家对 MoE 输出的影响，在降低显存占用的同时保持有竞争力的多模态与文本性能。