FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing
Wang Wei, Harry Yang, Tiankai Yang, Samyadeep Basu, Hongjie Chen, Andy Zhao, Franck Dernoncourt, Ryan A. Rossi, Hoda Eldardiry
COLM 2026
cs.LG, cs.AI
2026-09-30
把 LLM 路由从独立打分 top-k 改成 DPP 子集选择,直接优化「至少一个模型答对」的覆盖率,在 RouterEval 两个设置下平均 Success@10 达 0.863 和 0.991,均超过 EmbedLLM 和 BaRP。
路由(router)是 LLM 池部署里的老问题:来了一条 query,决定调用哪些模型。主流做法是给每个候选模型独立打一个正确性分数,取 top-k。这个设计有两个盲点。第一,分数是逐个算的,模型之间的相关性完全没进决策。训练数据和架构相近的模型往往一起对、一起错,独立选出的 top-k 经常是几个高度相似的模型,输出近乎复读,错也错在同一点上。第二,k 是写死的预算,简单 query 和难 query 花一样的算力。
论文的靶子是一个更贴合实际的场景:很多推理管线本来就是并行生成多个候选答案,再由下游 verifier、reranker 或人选出最终答案。这种场景里真正要优化的指标是「选出的子集里至少有一个模型答对」(answer coverage),不是每个模型平均多准。如果整个子集全错,下游再强也无解;反过来,子集里只要有一个对的,下游就有得选。独立打分在这个目标下系统性次优。
FlexRouter 把路由形式化成覆盖导向的子集选择,用 DPP(Determinantal Point Process,行列式点过程,一种在子集上定义概率分布、天然偏好「质量高且彼此不相似」组合的数学工具)来参数化选择策略。整体分三块:
设计上值得注意的一点:相似度用的是模型 embedding 的余弦,而不是模型输出的语义相似度。前者是训练中学出来的静态相关性,计算便宜;后者论文留作未来工作。
在 RouterEval 上做,两个设置共享候选池:medium-pool 3811 个模型、large-pool 5000 个模型。指标 Success@10(至少一个选中模型答对的 query 比例)。
| 方法 | Medium-pool 平均 | Large-pool 平均 |
| Ref.(强单模型) | 0.619 | 0.855 |
| EmbedLLM | 0.8329 | 0.9802 |
| BaRP | 0.8320 | 0.9142 |
| FlexRouter | 0.8632 | 0.9914 |
几个具体点:medium-pool 上 GPQA 提升最明显(0.8487 vs EmbedLLM 0.7731);MATH 上 EmbedLLM 更高(0.8264 vs 0.8075),论文解释是 MATH 集中了一批强专家模型,独立选高分就够。out-of-domain 任务上两个设置都拿到最高分(如 TruthfulQA 0.9951、WinoGrande 0.9976),说明学到的是模型互补性的一般模式而非任务记忆。
冗余度用 ILD@10(选中模型在固定预训练 embedding 空间里的平均两两余弦距离)衡量,FlexRouter 优势更大:medium-pool 平均 0.7620,EmbedLLM 0.2112、BaRP 0.1982,三倍多的差距。消显示 cosine 核比 RBF 核选出更多样的子集且成功率有竞争力,故为默认。τ≈0.2 是一个不错的操作点:平均子集尺寸显著缩小,Success@10 基本保住。
对做多模型编排、agent 后端选型的人,这篇给了一个可直接抄的思路:当你有 verifier 或 reranker 在下游时,路由阶段的目标函数应该写成覆盖率而非平均正确率,DPP 是把这个目标变成可微训练的干净途径。停机阈值 τ 提供了一个旋钮,可以在覆盖率和调用成本之间连续调,不需要重新训。RoBERTa-base 级别的编码器加贪心推理,工程上不重。
也要诚实:这是对 top-k 路由的定向修正,前提是你的管线确实会保留多个候选答案再挑。如果你的系统只取一个最终答案、没有下游选择环节,覆盖率的定义就不成立,收益也就无从谈起。
作者自己列了三条,都算实诚:Success@k 是路由阶段的覆盖指标,不是最终部署精度,和具体下游选择器联合的端到端评估还没做;多样性是在固定模型 embedding 空间量的,不保证输出层面的语义多样性(RouterEval 没提供全部生成结果);成本用调用模型数做代理,真实成本还取决于各模型的延迟、单价、输出长度和 batching。
读下来还有两点存疑。一是 large-pool 上所有方法都到了 0.98 以上,天花板效应明显,Top-10 从 5000 个模型里选,「至少一个对」在这个池子里本来就接近必然,这个设置对方法区分度有限,medium-pool 的结果更有说服力。二是 ILD 用同一个固定 embedding 空间度量,而这个空间和方法自身的表示学习同源,度量与被测对象不完全独立,多样性数字的绝对值要打个折扣看。