清华团队提出 Meta Expert：跨层共享专家，MoE 仅用 70-80% 专家持平原性能

TsinghuaC3I · hf · 2026-10-23

清华大学与上海 AI Lab 团队发布论文《Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE》。研究指出主流 MoE 模型采用层级局部专家（Local Expert）架构，不同层的专家虽拓扑独立，但存储内容高度相似、冗余明显。团队假设跨层共享的 Meta Expert 更有潜力，通过多维实证对比发现：引入 Meta Expert 的模型参数冗余更低、交叉熵损失更低且下游任务准确率更高。在激活专家数量与粒度固定的情况下，该模型仅用原 Vanilla MoE 70-80% 的专家即可匹配其性能，显著提升参数效率。