16 个语义问题路由 LLM,40 维概率特征胜过 embedding 与最强单模型

SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing

Vasilis Perifanis, Nikolaos Pavlidis, Symeon Symeonidis

cs.AI, cs.CL, cs.LG

2026-09-28

把 query 拆成 16 个带概率分布的语义判断,再学各模型在此上的表现来做路由,LLMRouterBench 分组评测准确率 72.64%,最强固定模型只有 69.23%。

这篇在解决什么

LLM 路由要回答的问题很具体:一条请求进来,交给候选模型池里的哪一个。现有路由器大多从 query embedding、模型表示或相似样本聚类里直接学这个决策。这类表示捕捉的是「像不像」,但相似不等于需求相同:同是 Python 请求,查字典推导式语法和排查多个异步函数间的竞态条件,对模型能力的要求差得很远。LLMRouterBench 的统一评测还发现,一批领先路由器挤在 7072 的窄带里,都逼近按数据集选最优模型的 Dataset Oracle,大部分可测收益来自粗粒度领域识别,query 级别的信息没被用上。SeLMRoute 的问题意识就在这里:能不能用一组显式、可读的任务需求描述做路由,又不回到大维度表示。

方法

核心是把路由函数拆成三段,各管一件事。

语义抽取:一个 typed decision model(主实验用商业 API JEV,另测了开源的 Laya)对每条 query 回答 16 个固定问题:8 个二值判断,覆盖数学推理、代码推理、形式逻辑、事实回忆、社交情感、工具交互、外部知识、时效信息;8 个四级判断,覆盖领域专业化、推理深度、约束密度、上下文整合、分解需求、歧义度、精确度、答案开放度。问题只描述请求本身,不出现任何候选模型的名字。
保留概率:每个判断不取 argmax,保留完整分布。8 个二值各出 1 维、8 个四级各出 4 维,拼成 40 维「概率质量」向量。[0.05, 0.20, 0.55, 0.20] 和 [0.00, 0.01, 0.98, 0.01] 硬化后都是等级 3,但前者明显更不确定,这个差别被留给了下游学习器。
性能学习:CatBoost 多输出回归器把语义态映射成每个候选模型的预测得分,用历史 benchmark 结果训练。
路由目标:套在预测之上。纯性能部署取 argmax,成本敏感部署用 λ 权衡归一化后的质量与费用,λ 只在验证集上选,不碰测试集。

拆分换来三个实际好处:换模型池、换部署目标不用重抽语义;新增模型只补性能校准数据;每次路由都能翻出「高代码推理、高精确度、高约束密度」这样的证据链。评测还做了防泄漏:相同归一化 query 强制同折,11,481 条实例归并成 11,423 个组。

结果

主实验在 LLMRouterBench 性能导向设置:15 个数据集、20 个轻量模型、11,481 条 query。

表示	AvgAcc	Gain@B
SeLMRoute 概率质量(40 维)	72.08 ± 0.45	5.72%
SeLMRoute 全量(88 维)	71.30 ± 0.18	4.58%
SeLMRoute 硬标签(16 维)	71.20 ± 0.59	4.41%
GTE-Qwen2 稠密向量 + CatBoost	71.16 ± 0.74	4.34%
只有领域标签	71.08 ± 1.03	4.45%
TF-IDF	70.87 ± 0.78	3.82%

参照系:Best Single 68.81,Dataset Oracle 73.94,Instance Oracle 91.91(五次 70/30 分组划分)。分组五折 OOF 下概率质量到 72.64%,最强固定候选 Qwen3-8B 是 69.23%,差 3.4 个点,离 Dataset Oracle 只剩 1.86 个点。

消融里信息量最大的几条:

换学习器:CatBoost 72.08,高于 Random Forest 71.15、MLP 70.92、Ridge 70.15、OLS 70.04,语义变量与得分的映射不是纯线性叠加。
换抽取器:开源 Laya 顶替 JEV 后 OOF 掉到 70.53%(差 2.10 个点,p=0.00035),仍高于最强固定模型,抽取器质量本身很关键。
两段式对比直选:让 JEV 拿匿名化模型档案直接挑模型只有 68.78%,两段式 72.57%,差 3.79 个点,「直接问 LLM 选哪个」这条捷径被数据否掉了。
逐个去探针:约束密度(+0.604)、上下文整合(+0.511)、时效信息(+0.487)掉得最多;去掉数学、代码探针反而微涨约 0.17 个点,它们的信息已被精确度、约束密度等关联信号覆盖。
12 探针省流版 72.49%,只差 0.145 个点(p=0.706),语义 token 省 34%,p95 延迟降 18%。

分布外是分水岭。留出单个数据集,语义表示还扛得住(67.02%,GTE-Qwen2 为 67.29%);留出整个领域,稠密向量明显更强(67.31% vs 65.66%)。

成本设置(13 个旗舰模型、10 个数据集、12,446 条 query,参照 GPT-5)五个分组划分 PerfGain 全正,平均 +2.66% ± 1.85%,但严格协议下没有一个划分达成省钱,达标的两个配置反而比 GPT-5 贵 0.10% 和 1.58%。

开销:语义抽取每条 query 约 1,607 个输入 token、平均 350ms,按评测时价格折合每千条 0.0675 美元;下游 CatBoost 单条 1.23ms。

为什么重要

40 个人能读懂的特征,均值压过 7B 参数的 GTE-Qwen2 embedding,这是给从业者最抓眼的数字。路由证据变得可审计,路由错了能查到是哪条语义判断出了问题。架构拆分也实用:换目标、换池子不动前段,新模型只补校准数据。直选消融给想跳过中间环节的人泼了冷水,3.79 个点的差距说明实测结果比 LLM 的自我判断可靠。

位置也要看清:离 Dataset Oracle 只差 1.86 个点,离 Instance Oracle 还有近 20 个点。它和 LLMRouterBench 上那批领先路由器一样,主要吃的还是数据集级规律,是一次扎实的表示改进,谈不上路由能力的跳变。

局限与存疑

论文自己披露的几条都该记着:

概率表示对硬标签的 0.83 个点优势不显著(CI [−0.17, 1.84],p=0.11),「保留概率更好」目前是趋势,不是结论。
整领域分布外输给稠密向量 1.65 个点,新领域的模型行为没法从语义压缩里恢复,冷启动无解。
成本设置没跑出正省钱结果。
12 探针对 16 探针的非劣效性(0.5 个点边界)没被统计确认。
与已发表路由器(Avengers 71.94、Model-SAT 71.88)的对比用了不同划分协议,论文明说不做配对结论。

读下来还有两点保留。主抽取器 JEV 来自作者自己的公司(Indigma),开源替代 Laya 掉 2.1 个点,接口可换成立,换了不掉点不成立。每条 query 多出 350ms 左右的抽取延迟,对延迟敏感的在线服务是实打实的成本,论文只在开销一节顺带带过。

术语

LLM routing(模型路由):为每条请求从候选模型池里选一个模型的调度层,与 MoE 内部的专家路由是两回事。
typed decision model:输出结构化判断并附带概率的决策模型,JEV 属于这一类。
概率质量表示(ProbabilityMass):把每个语义判断的完整概率分布拼起来的 40 维向量,SeLMRoute 的默认表示。
OOF(out-of-fold):交叉验证中每条数据都由没见过它所在组的模型预测,用于配对统计比较。
Dataset Oracle / Instance Oracle:分别按数据集、按单条 query 选最优模型的理论上限。

16 个语义问题路由 LLM,40 维概率特征胜过 embedding 与最强单模型

这篇在解决什么

方法

结果

为什么重要

局限与存疑

术语

原文与代码

相关论文