开发者热议用决策模型替代 MoE 路由器

研究员 ariG23498 半开玩笑地提出在 Mixture of Experts 架构中用决策模型替代路由器的点子,并调侃发表论文时引用该推文即可。开发者 KrishD 回应称,自己在 2025 年 8 月的 Linux Foundation 演讲中已尝试用 LLM 分类头做 MoE 路由决策。ariG23498 进一步澄清,他的设想不止于此,而是让决策模型基于激活值将 token 跨模型转发,实现更深层的跨模型路由。

2026-10-23 ~ 2026-10-23 · 3 条相关