Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing
Guannan Lai, Han-Jia Ye
cs.AI
2026-09-29
南京大学提出 RouteFM,跨环境预训练出全程冻结的 LLM 路由器,在未见过的 MMR-Bench 上凭 8 条观测超最强基线 2.23 分。
LLM routing 解决的问题很实际:一堆能力、价格、延迟各异的模型摆在面前,每条查询发给谁。为某个环境训好一个路由器不难,难的是它活不长。现有做法为特定查询分布加候选池采集 query-model 表现数据,拟合一个质量预测器,论文称之为「local fitting」。真实部署是动态的:新模型不断上线,领域和模态也在变,每次变动都要重新采数据、重训。维护成本随环境数量线性增长,路由器本身始终无法复用。
RouteFM 的核心选择:路由器不认识任何模型的名字。每个候选只用「行为上下文」刻画,若干条(查询的冻结 embedding、质量分、归一化相对成本)历史记录,模型名、参数量一律不给。候选间的差异只能来自观测行为,这正是跨环境可迁移的那部分信息。
流程分三步:
训练用 episodic pretraining,从 4 个数据源(LLMRouterBench、RouterBench、RouterEval、MixInstruct,共 212,470 个查询-任务实例、173 万条观测)采情景:6-24 个匿名候选,观测预算 K 在 8 到 1024 间随机,任务、池子构成、候选顺序都变。损失为逐点回归加 pairwise 排序,再加 routing regret(软路由分布相对最优候选的质量差),权重按课程从 0 升到 0.25。模型仅 12.78M 参数,训 1 万步。
设计环环相扣:匿名化逼模型学「从行为推断能力」这个可迁移技能,置换等变防止绑定槽位,regret 项把「预测准」对齐到「选得对」。
主指标是选中模型的实际质量,所有方法在匹配的候选池与观测预算下对比:
| 设置 | RouteFM | 最强基线 | 差距 |
| RouterEval 域内,K=8 | 0.6192 | 0.6108(Embedding-Ridge) | +0.84 |
| RouterEval 域内,K=64 | 0.6611 | 0.6601(EmbedLLM) | +0.10 |
| MMR-Bench 跨模态,K=8 | 0.7323 | 0.7100(EmbedLLM) | +2.23 |
| MMR-Bench 跨模态,大预算 | 0.7614 | 0.7607(UniRoute) | +0.07 |
MMR-Bench 是多模态路由基准,10,370 条查询、9 个候选模型,完全不在预训练数据里。规律一致:观测越少优势越大,证据管够时各方法趋同。
部署侧的数字更实用。新模型入池:只看 8 条观测,冻结的 RouteFM 已超过所有重新拟合的基线;到 16 条,带新模型路由反超原池路由。域适配:冻结 RouteFM 比用 20% 目标域标注从零训练的同架构高 1.08 分(K=8),在目标域微调收益时正时负。上下文效率:1% 观测追平 Weighted kNN 的全上下文表现,MLP 要 3%,EmbedLLM 要 26%。
消融里拿掉候选池联合比较掉得最狠(K=8 掉 1.33 分),联合比较确实比独立评估重要;把 Qwen3-VL 换成文本 BGE 编码器,跨模态也掉,查询表示本身贡献了一部分迁移能力。
对运营多模型推理的人,这篇把路由器维护从重训问题改成了上下文构造问题。新模型上线,跑十几条探针查询即可入池;换领域、换模态、缩预算,参数一律不动。优势恰好落在部署最疼的冷启动和少证据区。也要说清楚:证据充足时它与简单方法差距很小,暖池场景的收益是渐进的,真正的卖点在冷池与动态池。
作者自列的:预训练只有 4 个数据源,规模上去后如何 scaling 未验证;成本被处理成回合内相对值,不是真实美元或延迟,跨情景不可比;候选刻画只有行为,缺延迟、可用性等系统信号;持续演化的池子留作未来工作。
读下来还有几处要存疑。Knew=0 和 1 的零样本入池是压力测试,作者明说不能当可靠能力。大预算下 0.07 分的领先约等于打平。域内提升 0.10 到 0.84 分,幅度温和。ICL-Router 在 MMR-Bench 上只用文本查询,与用多模态编码器的 RouteFM 不完全对等。绝对延迟上 kNN 类方法仍更快,RouteFM 换到的是免去目标域拟合。预训练监督全部来自 benchmark 打分,真实部署的标注噪声没有检验。