推特小玩笑被当真:在 MoE 里插入决策模型当路由器

ariG23498 · x · 2026-10-23

作者一条随口的想法——把 Mixture of Experts 的路由器换成「插入一个决策模型」——没想到被讨论得远超预期,自嘲「这条推不该被这么当真」。这条本意半是玩梗的想法触及了 MoE 稀疏路由的改进方向:用可学习的决策模型替代传统 top-k 门控,作者还打趣说写论文可以引用这条推文。

所属事件:MoE 路由换「决策模型」玩笑引热议,开发者称早已实践(4 条相关)→

原文链接 →

「Fun」频道最新

更多「Fun」频道 AI 资讯 →