Meta Expert 论文：跨层共享专家仅用 70-80% 参数即匹敌主流 MoE
Xianbao_QIAN · x · 2026-10-22
arXiv 论文《Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE》提出用跨层共享的 Meta Expert 取代主流分层独立的 Local Expert 架构。
主要发现：
- 主流 MoE 各层专家虽拓扑独立，但存储内容高度相似冗余；
- 在激活专家数量与专家粒度不变的前提下，Meta Expert 架构仅用 70–80% 的专家即可达到 Vanilla MoE 的性能，且交叉熵更低、下游任务准确率更高；
- 理论分析显示 Meta Expert 为隐状态提供更灵活的残差通路，提升信息检索效率。
钱 Xianbao 转发并附上自己的消融实验，同样显示全局（meta）专家优于局部专家，并追问「现有生产级模型里有用共享专家的吗」，引发对 MoE 架构设计方向的讨论。
「研究」频道最新
- BatchBench 排行榜发布:AI 细胞显微成像系统跨数据源大幅退化 — gklambauer · 2026-10-22
- SERA 用可编辑 Harness 自进化规划，攻克长程机器人操作 — Tingwen Du · 2026-10-22
- SpatialScout 基准：80 个场景考验 VLM 智能体主动探索 3D 建图 — Zhaoxi Zhang · 2026-10-22
- 新论文：对抗样本不是 bug，而是神经网络叠加现象的必然产物 — livgorton · 2026-10-22
- 因果推断文献大扩容：Judea Pearl 一次性整理四个新论文合集 — yudapearl · 2026-10-22
- 可解释性研究者激辩：单个神经元还是叠加编码，SAE 拆不开意味着什么 — livgorton · 2026-10-22