开发者热议用决策模型替代 MoE 路由器
研究员 ariG23498 半开玩笑地提出在 Mixture of Experts 架构中用决策模型替代路由器的点子,并调侃发表论文时引用该推文即可。开发者 KrishD 回应称,自己在 2025 年 8 月的 Linux Foundation 演讲中已尝试用 LLM 分类头做 MoE 路由决策。ariG23498 进一步澄清,他的设想不止于此,而是让决策模型基于激活值将 token 跨模型转发,实现更深层的跨模型路由。
2026-10-23 ~ 2026-10-23 · 3 条相关
- 研究员戏言:把 MoE 的路由换成「决策模型」,论文记得引用这条推 — ariG23498 · 2026-10-23
- 开发者称早在8月已用LLM分类头做路由决策 — officialKrishD · 2026-10-23
- 追问决策模型路由:能否跨模型转发激活值 — ariG23498 · 2026-10-23