Ensemble Routing for Prompt-Adaptive Cost-Aware LLM Inference
Saul Urso, Emanuele Carlini, Patrizio Dazzi, Matteo Mordacchini
cs.AI
2026-11-07
PISA-E 逐条请求预测各 LLM 答对概率,据此动态决定调哪些模型、调几个,四个基准上以 25-36% 更低成本反超最强集成基线。
LLM 服务绕不开一个矛盾:贵模型答得好但烧钱,便宜模型省钱但时不时翻车。主流解法是 routing,给每条请求挑一个模型,代价是放弃多模型互补;另一路是 ensembling,多个模型一起答再聚合,质量更稳,成本也成倍涨。现有集成方法的短板在灵活性:模型组合和调用数量大多在训练或配置阶段就定死,不能随 prompt 变,更不能在部署后按预算临时调。这篇把两个决策合在一起:这条请求调哪几个模型、调几个,全由当前 prompt 和一个可调的成本偏好参数在推理时决定。
核心是先训好「每个模型对每条 prompt 的答对概率」,集成决策全部从这份估计推导,不为集成单独训练任何东西。
四个基准(LLMRouterBench Track-2、RouterBench、FusionBench、SPROUT),ID 和 OOD 两种设置,五个随机种子:
| 对比 | 指标 | PISA / PISA-E | 最强基线 |
| 单模型路由,ID / OOD | 宏平均 hypervolume | 37.41 / 22.85 | EmbedLLM 35.78 / 21.33 |
| 集成,α=1,ID | 宏平均性能 | 75.27% | SelectLLM 73.18% |
| 集成,α=1,OOD | 宏平均性能 | 63.24% | DFPE 60.37% |
| 等成本点,ID | 性能 / 成本(×10⁻⁴ 美元) | 73.78% / 84 | SelectLLM 73.18% / 132 |
| 等成本点,OOD | 性能 / 成本 | 60.85% / 292 | DFPE 60.37% / 387 |
等成本点上性能反超 0.60 和 0.48 个百分点,成本省约 36% 和 25%。α 从 1 降到 0.3,ID 成本降 21.5 倍、性能从 75.27% 滑到 70.75%;OOD 成本降约 106 倍、性能 63.24% 到 50.54%。三组消融:自适应集成数比最优固定 k 高 0.28(ID)、1.80(OOD)HV;逐 prompt 排序比全局固定排序高 4.96 HV(ID);self-weighted BERTScore 比普通 BERTScore 高 0.92(ID)、1.21(OOD)个百分点。α=0.3 时 84% 的 ID 请求只调一个模型,α=1 时平均 6.4 个,仍有 21.6% 的请求保持单模型。集成大小确实随 prompt 变。
「这条请求调几个模型」在生产里一直是静态配置,这篇把它变成逐请求的路由决策,旋钮放在推理侧:同一套训练好的预测器同时服务省钱档和高质量档,不用为每个价位重新调参。组件全是现成的:embedding、聚类、逻辑回归、BERTScore,没有大模型训练成本,复现门槛低。适合多模型网关、agent 服务这类请求异构、预算浮动的场景。