Meta Expert 论文:跨层共享专家,MoE 仅用 70-80% 专家追平性能
pmttyji · reddit · 2026-10-23
论文针对主流 MoE 模型分层独立放置专家导致的跨层冗余问题，提出跨层共享的 Meta Expert 架构。
- 多维实证对比显示：Meta Expert 模型参数冗余更低，交叉熵损失更低，下游任务准确率更高。
- 关键结果：在激活专家数量与专家粒度不变的前提下，仅需 Vanilla MoE 70-80% 的专家即可追平其性能，且模型越深越大，专家与参数节省越多，扩展潜力更好。
- 理论分析进一步表明，相比 Local Expert，Meta Expert 为隐藏状态提供更灵活的残差通路，提升信息检索效率。
arXiv: 2610.27598
所属事件:清华等提出 Meta Expert：跨层共享专家省 20-30% 参数(3 条相关)→
「研究」频道最新
- GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解 — Tengju Ru · 2026-10-23
- NTU 控制变量研究:扩散语言模型的学习型 unmasking 策略怎样才算好 — nanyang-technological-university-singapore · 2026-10-23
- NBER 出版《变革性 AI 的经济学》，Agrawal 与 Brynjolfsson 主编 — JMateosGarcia · 2026-10-23
- 前天文学家谈 Agent 评测：仅换 harness 成绩就差 30% — AI Engineer · 2026-10-23
- Jane Street 用 NVIDIA cuTile 实现 Mamba-2 高性能前向核 — blelbach · 2026-10-23
- LatentLoop 论文：非对称算力分配让循环 MoE 省 19% 计算 — pmttyji · 2026-10-23