清华等提出 Meta Expert:跨层共享专家省 20-30% 参数
清华大学与上海 AI Lab 团队发布论文《Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE》,针对主流 MoE 模型分层独立放置专家导致的跨层冗余问题,提出跨层共享的 Meta Expert 架构。多维实证对比显示,该架构参数冗余更低,仅需主流 MoE 70-80% 的专家参数即可追平原有性能。
2026-10-22 ~ 2026-10-23 · 3 条相关
- Meta Expert 论文:跨层共享专家仅用 70-80% 参数即匹敌主流 MoE — Xianbao_QIAN · 2026-10-22
- Meta Expert 论文:跨层共享专家,MoE 仅用 70-80% 专家追平性能 — pmttyji · 2026-10-23
另有 1 条近重复转述:TsinghuaC3I