PISA-E 集成路由:按 prompt 动态决定调用几个 LLM,成本降 36% 性能反升

Ensemble Routing for Prompt-Adaptive Cost-Aware LLM Inference

Saul Urso, Emanuele Carlini, Patrizio Dazzi, Matteo Mordacchini

cs.AI

2026-11-07

PISA-E 逐条请求预测各 LLM 答对概率,据此动态决定调哪些模型、调几个,四个基准上以 25-36% 更低成本反超最强集成基线。

这篇在解决什么

LLM 服务绕不开一个矛盾:贵模型答得好但烧钱,便宜模型省钱但时不时翻车。主流解法是 routing,给每条请求挑一个模型,代价是放弃多模型互补;另一路是 ensembling,多个模型一起答再聚合,质量更稳,成本也成倍涨。现有集成方法的短板在灵活性:模型组合和调用数量大多在训练或配置阶段就定死,不能随 prompt 变,更不能在部署后按预算临时调。这篇把两个决策合在一起:这条请求调哪几个模型、调几个,全由当前 prompt 和一个可调的成本偏好参数在推理时决定。

方法

核心是先训好「每个模型对每条 prompt 的答对概率」,集成决策全部从这份估计推导,不为集成单独训练任何东西。

结果

四个基准(LLMRouterBench Track-2、RouterBench、FusionBench、SPROUT),ID 和 OOD 两种设置,五个随机种子:

对比指标PISA / PISA-E最强基线
单模型路由,ID / OOD宏平均 hypervolume37.41 / 22.85EmbedLLM 35.78 / 21.33
集成,α=1,ID宏平均性能75.27%SelectLLM 73.18%
集成,α=1,OOD宏平均性能63.24%DFPE 60.37%
等成本点,ID性能 / 成本(×10⁻⁴ 美元)73.78% / 84SelectLLM 73.18% / 132
等成本点,OOD性能 / 成本60.85% / 292DFPE 60.37% / 387

等成本点上性能反超 0.60 和 0.48 个百分点,成本省约 36% 和 25%。α 从 1 降到 0.3,ID 成本降 21.5 倍、性能从 75.27% 滑到 70.75%;OOD 成本降约 106 倍、性能 63.24% 到 50.54%。三组消融:自适应集成数比最优固定 k 高 0.28(ID)、1.80(OOD)HV;逐 prompt 排序比全局固定排序高 4.96 HV(ID);self-weighted BERTScore 比普通 BERTScore 高 0.92(ID)、1.21(OOD)个百分点。α=0.3 时 84% 的 ID 请求只调一个模型,α=1 时平均 6.4 个,仍有 21.6% 的请求保持单模型。集成大小确实随 prompt 变。

为什么重要

「这条请求调几个模型」在生产里一直是静态配置,这篇把它变成逐请求的路由决策,旋钮放在推理侧:同一套训练好的预测器同时服务省钱档和高质量档,不用为每个价位重新调参。组件全是现成的:embedding、聚类、逻辑回归、BERTScore,没有大模型训练成本,复现门槛低。适合多模型网关、agent 服务这类请求异构、预算浮动的场景。

局限与存疑

术语

原文与代码

相关论文

全部论文解读