ERMoE 用特征基路由取代学习 router,ImageNet 超越 V-MoE 0.6 点
burny_tech · x · 2026-11-21
arXiv 论文 ERMoE(CVPR 2026)提出无需学习路由器的 MoE:给每个专家参数化到一组正交特征基上,用输入特征与专家基的余弦相似度(Eigenbasis Score)直接决定 token 分配,省去负载均衡辅助损失。
- 核心思路:内容感知路由,把 token 归属直接绑定到专家的表示空间,路由更稳定、专家特化更可解释
- 结果:ImageNet top-1 比 V-MoE 高 0.6 点,参数少 15%,并在图文跨模态检索上达到 SOTA
- 意义:规避了负载均衡损失带来的干扰梯度和专家特化削弱问题
「研究」频道最新
- PhD 手工整理的全合成数据库开源:CbyD 数据集含 3500+ 条合成路线 — CatAstro_Piyush · 2026-11-21
- Anthropic 官宣:Claude 攻克黑洞物理两个悬置 20 年的开放问题 — burny_tech · 2026-11-21
- Pearl 框架解读 LeCun 新论文:JEPA 世界模型两次前向即可答反事实问题 — yudapearl · 2026-11-21
- Thinking Machines 开源 Inkling 2 Mini:24 层循环跑 3 遍,笔记本可跑且成本降约 6 倍 — The Decoder · 2026-11-21
- GRH 猜想被破解引发数学圈焦虑,burny 主张建更多「灯塔难题」 — burny_tech · 2026-11-21
- 数学家 Levent Alpöge 四年转型:从与 Bhargava 证明定理到用 Claude 攻克数学难题 — burny_tech · 2026-11-21