PISA 路由器按提示词自适应选模型,成本-性能权衡领先四项基准
Saul Urso · hf · 2026-11-12
意大利 CNR 与比萨大学团队发布 PISA 与其扩展 PISA-E,面向 LLM 推理路由问题。
- 核心思路:结合 soft cluster membership 与模型专用预测器,按 prompt 特征估计各模型能力,实现 prompt-adaptive 的成本感知路由,而非固定选单一模型。
- PISA-E:进一步联合选择集成(enensemble)的模型组成与数量,通过显式「质量-成本偏好」参数在推理期调节,无需重训集成模型;用 tractable ensemble-success surrogate 与高效候选筛选实现低成本扩展。
- 结果:在四个 LLM 路由基准、含 ID 与 OOD 条件下,PISA 取得最高 macro-average 成本-性能表现。
论文指出现有方法大多只覆盖问题的一部分:有的自适应组合集成但不优化推理成本,有的依赖分类聚合或串行执行,且集成规模通常在训练时固定。
「Infra」频道最新
- RDNA3 定制 llama.cpp fork 让 7900 XTX 推理速度翻倍至约 100 tok/s — Jebbyk1 · 2026-11-12
- 郭明錤:黄仁勋是英伟达不可替代的引擎,Rubin 已因 HBM4 推迟至 2027 — zephyr_z9 · 2026-11-12
- 拆解：Anthropic 268 万芯片中英伟达仅占 3%，全行业最低 — teortaxesTex · 2026-11-12
- Kobeissi披露：曾质疑英伟达173亿美元新加坡营收是芯片转运通道 — josh_bickett · 2026-11-12
- 搞懂 LLM 推理的 6 项关键技术：从 PagedAttention 到 Prefill/Decode 分离 — techNmak · 2026-11-12
- 50GB 的 MiniMax H3 如何塞进 12GB 显存？量化实测拆解 — fa6637 · 2026-11-12