Learning the Cost of Reliable Inference
Dimitrios Rontogiannis, Ander Artola Velasco, Manuel Gomez Rodriguez
cs.AI, cs.GT, cs.LG
2026-09-24
次价拍卖把达标查询交给最便宜的模型，实付收敛到次低成本。弱竞争加价71%高于牌价，强竞争加价10%、低于牌价12%。
路由平台能帮用户挑模型，供应商仍按 token 收固定牌价。成本和答对率随任务变，牌价不变。引言里的账是：两家挂牌 0.06 与 0.07 美元/token，成本是 0.01 与 0.04。质量接近时用户付 0.06。针对该任务竞价，价格可以落到 0.04，因为次便宜的那家再低就会亏。
这截差价留在更便宜的供应商手里。Artificial Analysis、OpenRouter 比的仍是挂牌价。马普所软件系统所把中间层做成采购平台，用户给定质量下限，单价由竞争决定。
用户做一类固定任务，对面是 N 家 LLM 供应商。用户先定质量阈值 qmin，即平均答对率下限。分析假定至少两家达标；只剩一家时，付款退回上界 cmax。供应商不知道查询总数 T，每家挂一个 0 到 cmax 的常驻出价。每轮平台派一条查询，中标者作答并付算力成本，回答被打成 0 到 1 分。只有中标者能改价。
平台用历史分数均值加置信半径 β 估计质量。β 随被选次数缩小，来自 Hoeffding 界，宽度由 δ 决定。均值加 β 仍不低于 qmin 的才进入估计合格集。概率至少 1−δ 时，真合格者一直留在集合里。
抽样目标 g(t)=k(t/N)^α 次线性增长。没抽够的估计合格供应商里，平台均匀抽一家，付 cmax，不看出价，探索费算在用户头上。抽够之后选「出价减 cmax·β」最小者。减 β 等于给样本少的供应商优先权，避免过早锁定。
付款是反向次价。可以把它想成招标：价低者得标，结算价看的是别人，不看自己。赢家实收等于自身的置信加成，加上其余合格者里最低的调整出价，封顶 cmax。前 N 轮每家一次，同样付 cmax。
供应商报已发生成本的均值。定理 2 把它定为稳健均衡：T 和对手都未知，不能排除这条就是最后一条，而实收又不看自己的出价，刚好不亏的报价就是成本估计。偏离到会改变中标与否时，最坏效用更差。
全体这么报，概率至少 1−δ。定理 3：占比趋于 0 之外的查询给成本最低的合格供应商 i，差距越小抽得越多。定理 4：平均付款收敛到合格集的次低平均成本 c̄(2)。α=2/3 时速率大约是 T 的 −1/3 次方乘对数因子；实验用 α=3/4、k=2，前期探索更密。
模拟供应商挂 Llama 与 Qwen Instruct，回答取自公开记录，每题每模型 128 条。成本用 Hugging Face 牌价除以 1.25，统一假定 25% 利润率，平台不知该折扣。qmin 取相邻准确率中点。70,000 条查询、30 次重复，单位为 1e-6 美元/查询。供应商按均衡出价。
加价是最后一遍、非探索步实付相对赢家成本的比例。强竞争指次低成本低于赢家挂牌价。
| 设置 | 赢家 | 成本 | 挂牌价 | 次低成本 | 非探索实付 | 加价 | 末遍占比 |
| GSM8K，9 家，qmin=0.764，合格 3 家 | Qwen2.5-3B | 16.1 | 20.1 | 34.4 | 27.5（全程 30.3） | 71% | 0.96 |
| GPQA，4 家，qmin=0.145，合格 2 家 | Llama-3.1-8B | 43.0 | 53.8 | 50.7 | 47.4（全程 48.3） | 10% | 0.97 |
GSM8K 共 1,319 题，约 53 遍，合格对手明显更贵。终轮非探索实付 27.5，比成本 16.1 高 71%，比挂牌价 20.1 高 37%，却还没到次低成本 34.4。按这套规则买，比直接付赢家牌价更贵。
GPQA 共 546 题，约 128 遍，合格对手只贵一点。实付 47.4，比成本 43.0 高 10%，比挂牌价 53.8 低 12%，更接近次低成本 50.7。
末遍至少 96% 的查询给了 i。它成为最多被选的供应商，大约在 1 万条（GSM8K）和 3 万条（GPQA）之后，早于定理时间点 63,740 与 153,697。GPQA 慢，是因为 Llama-3.2-1B 只比 qmin 低 0.037，约 1.1 万条才被排除。排除前，便宜的不合格模型会把实付压到赢家成本以下。
路由只在挂牌价里挑模型，省下的是选错模型的钱。这里用置信上界守质量，用次价去探次低成本。查询多、任务固定时，付款靠向这个地板。
第二名若远贵于赢家，拍卖价会高于赢家牌价。GSM8K 高出 37%，直接买更划算。GPQA 上对手只略贵，用户少付 12%。10% 到 71% 是相对自身成本的加价，不是相对牌价的折扣。
第 6 节承认，供应商未必最大化最坏效用。对 T 或对手有额外信息时，报成本估计不再自动最优，附录只放开了有界偏离。
成本差小或质量贴着阈值，查询需求会很大，GPQA 上差 0.037 就要约 1.1 万条。探索费用户出，受益的是最便宜的合格供应商。
实验里出价严格按均衡，没有偏离或合谋。分数是标准答案对错，开放生成的自动评分不稳时，合格集会歪。成本由牌价统一除以 1.25。次价依赖对手出价，合谋仍可能。只剩一家时付 cmax。
所以 10% 到 71% 是构造成本上的加价宽度。GSM8K 的实付还没贴到 c̄(2)，更不能当成用户节省。