Routing Should Pay for Itself: Sparse Supervision for Economical LLM Routing
Guannan Lai, Gelin Bian, Hao-Xuan Ma, Jun-Peng Jiang, Long Chen, Jian-Dong Liu, Zhi-Hao Tan, Han-Jia Ye
cs.AI
2026-09-29
SaveRouter稀疏采标注学路由，四基准用33%–41%反馈，质量持平或更好，回本查询量最多缩短9.5倍。
监督式LLM路由要先在历史query上把候选模型跑一遍，才能学会把题分给够用且更便宜的模型。N条训练query、M个模型，稠密标注最多N×M次推理。现有评测几乎都从路由器已经建好开始比serving曲线，不管这笔启动开销要服务多少流量才能赚回来。
启动成本会直接推迟回本。LLMRouterBench上最快的全监督方法OmniRouter要11.5K条部署query才摊平标注，RMSoftmax要20.2K。质量还会提前饱和：EmbedLLM用30%监督就到全监督准确率的99%，kNN要60%。路由只要选出cost-adjusted utility最高的模型，多出来的格子如果改不了argmax，对决策几乎没价值。把整张矩阵填满，是超额采购。
SaveRouter同时决定采哪些query–model格子，以及怎样从稀疏散点估能力。主设定每条训练query只评K=4个模型，约占可用训练反馈的33%–41%。
采集前先分组。相关query往往有相似的模型表现，一组里的观察可以借给同组其他题。训练侧有可预测任务标签时，用logistic分类器把新query分进这些组；否则对冻结表征做MiniBatchKMeans。分组只用输入，不用质量标签。LLMRouterBench 10组、MMR-Bench 7组、RouterBench 85组；Mixinstruct被设成1个全局组。
采集走K轮，每轮每条query新增一个未评过的模型。组内模型均值先向该模型的全局能力收缩，再加UCB探索项：能力高的优先采，观察少的也优先采，避免预算砸在已经摸清的模型上。组内还没见过的模型会先随机覆盖一轮。K轮结束得到至多NK个互异观察。
估计分三层。已观察格子上拟合加性先验，拆成全局难度、组效应和模型效应，稀疏格子能借到结构。组–模型样本均值再向先验收缩，观察多为样本、观察少为先验。组均值解释不了的差异，用leave-one-out残差训轻量Ridge，特征是TF–IDF，MMR-Bench再拼上CLIP。部署时选ŷm(x) − λ ĉ/Cmax最大的模型，λ扫质量–成本偏好。
共享结构用来扛稀疏。残差只补组解释不了的那一块，避免在少样本上硬拟合整张矩阵。
四个基准统一20%/80%划分，对照EmbedLLM、kNN、OmniRouter、TRouter、UniRoute、InferenceDynamics等全监督方法，以及WISERouter、BaRP、SemiRouter等稀疏或部分反馈方法。Ps是前沿最高测试分；CR是达到最强单模型质量Qb时的serving成本比；SA-BEP是启动监督成本被serving节省摊平所需的部署条数；SA-CR@1M是摊到100万次部署后的总成本比。达不到Qb或没有正节省的记为∞。
| 基准 | SaveRouter Ps / CR / SA-BEP | 最快全监督对照 |
| LLMRouterBench | 0.6338 / 0.2320 / 5.3K | OmniRouter 11.5K（CR 0.3564，Ps 0.6218） |
| Mixinstruct | 0.7498 / 0.9359 / 1.23M | kNN 11.63M（CR 0.9814） |
| MMR-Bench | 0.7540 / 0.7765 / 18.2K | TRouter 34.1K（CR 0.8396，Ps 0.7536） |
| RouterBench | 0.8084 / 0.6810 / 42.6K | EmbedLLM 326.4K（CR 0.9296） |
相对最快全监督路由器，回本部署量缩短约1.9–9.5倍。四套Ps都最高，但Mixinstruct上各方法Ps都挤在0.75附近，拉开的是启动标注，不是峰值质量。BaRP质量能打，按每次bandit交互计费后四套SA-BEP是114.0K、44.66M、640.8K、3.25M，比SaveRouter慢一个数量级。WISERouter和SemiRouter多套达不到Qb，摊销指标记为∞。
LLMRouterBench、K=4的消融：去掉query残差，Ps从0.6338掉到0.6175，CR从0.2320升到0.3484；全部合成一组，Ps落到0.5985。Random-K回本更快（3.8K对5.3K），Ps和SA-CR@1M更差。最早回本和长期更省不是同一条曲线。K=2（16.7%监督）质量已接近满监督；MMR-Bench上K=7的CR最低，K=2的SA-BEP最早。多采标注并不总更划算。放宽质量目标时，WISERouter因标注极便宜在0.90Qb上回本更早，但到不了0.95Qb以上。严格卡在Qb时，SaveRouter的CR和SA-CR在LLMRouterBench与MMR-Bench上全面最低。
给模型池上训路由器的人一个可执行结论：主设定三到四成反馈就够撑住质量–成本前沿，回本点能提前将近一个数量级。记账方式更值得带走。SA-BEP和SA-CR把启动监督和serving节省放进同一张表，serving更便宜但标注更贵的方法会立刻露馅。
方法本身是监督式路由的采集与估计，不是新的serving架构。Mixinstruct上SA-CR@1M仍是1.0148，回本需要1.23M条部署。流量到不了这个量级时，路由这笔启动投资本身就不一定划算。
正文没有独立Limitations节。C0只计获取反馈的模型推理，路由器训练不算进去。各基准成本字段尺度不同，SA-BEP不能跨数据集当成绝对货币。WISERouter、BaRP、SemiRouter是按论文重实现，不是原作者代码；BaRP主表用fresh-feedback，同一格子重复请求每次都计费，对bandit不友好。InferenceDynamics用记录里的eval name建任务画像，SaveRouter只从输入预测分组，对照不完全对称。主实验是in-domain 20/80；训练比例拉到80%时，Ps只从0.6338升到0.6416，C0从181.09涨到834.13，SA-BEP从5.3K涨到22.7K。质量随K非严格单调。MMR-Bench前沿并不在每个成本点都压过所有基线。Mixinstruct强制单组，分组这一支在该基准上基本没贡献。