清华等提出 Meta Expert:跨层共享专家省 20-30% 参数

清华大学与上海 AI Lab 团队发布论文《Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE》,针对主流 MoE 模型分层独立放置专家导致的跨层冗余问题,提出跨层共享的 Meta Expert 架构。多维实证对比显示,该架构参数冗余更低,仅需主流 MoE 70-80% 的专家参数即可追平原有性能。

2026-10-22 ~ 2026-10-23 · 3 条相关

另有 1 条近重复转述:TsinghuaC3I