清华发布 TokenRouter：token 级大模型路由解码吞吐提升 64 倍

清华大学 nics-efc 团队发布 TokenRouter 论文，提出支持 token 级小/大模型路由的 LLM 服务系统。token 级路由可在成本-质量帕累托前沿上带来显著收益，但 vLLM 等现有推理系统基于单模型假设难以高效支撑。TokenRouter 针对性优化后，解码吞吐最高可达现有方案的 64.15 倍。

2026-10-09 ~ 2026-10-10 · 2 条相关

• TokenRouter 实现 token 级 LLM 路由服务,解码吞吐提升最高 64 倍 — nics-efc · 2026-10-09
• 清华 TokenRouter 论文:token 级大小模型路由,吞吐最高提升 64 倍 — rohanpaul_ai · 2026-10-10