论文：LLM 竞价采购平台可省 10%-71% 推理成本

_onionesque · x · 2026-10-18

arXiv 论文《Learning the Cost of Reliable Inference》（Rontogiannis 等）设计了一个 LLM 令牌采购平台：当前基准/路由平台上供应商普遍按固定 token 定价，用户难以拿到最优价。

机制：平台通过逆向第二价格拍卖顺序路由查询，激励供应商如实报价其服务的真实平均成本，同时学习各供应商质量，把查询路由给满足质量阈值中最具成本竞争力的供应商。在 Llama 和 Qwen 系列模型上、数学推理与问答基准上的实验显示：最具竞争力供应商的定价空间随任务与质量阈值从 10% 到 71% 波动，说明当前固定定价市场存在显著低效。