无需路由器的MoE新方案
teortaxesTex · x · 2026-07-10
帖子在讨论一种 **Routing-Free MoE** 思路：研究者认为传统 MoE 路由存在尺度不匹配问题——一个很小的 router 要把每个 expert 的能力压缩成单个打分，TopK 又把所有 token 都硬编码成同样的稀疏度，softmax 还会丢掉绝对置信度。 这项来自 **LMU Munich + UCLA** 的方案直接“删掉 router”。做法是： - 每个 expert 自己带一个小 gate，把输入投影到该 expert 的表示空间； - 投影大小就是该 expert 的置信度； - 再减去可学习的 per-expert bias，超过全局阈值的 expert 就触发。 这样每个 expert 都能“自己决定”，不再需要中心化协调，而且 token 级稀疏度可以自适应变化。训练时则使用一个统一的负载均衡损失，把 expert 均衡和 token 均衡合在一起。