143 题实测「便宜模型优先」路由:仅 4 题升级前沿模型,成本降 80%

xrplincoln · reddit · 2026-11-16

作者针对「所有请求都打前沿模型」的默认做法,做了逐题路由实验:

流程

结果(143 题 = 104 日常 + 39 压力测试,成本均来自 API 实际返回的 token 计数)

| | 便宜优先 | 纯前沿模型 |

|---|---|---|

|总成本|$0.27|$1.33|

|平均质量分|99.7|98.0|

|由便宜模型回答|139/143|—|

日常题省 98%,压力题省 66%。checker 只升级了 4 题,其中 3 次是真抓错(计数错误、40 位乘法和超难数独答成空白),1 次误报;另测 8 道故意改错的答案全部识别。

短板:checker 本身是坏答案流向用户前的唯一屏障,作者征求更严格的测试方法。项目提供 OpenAI 兼容端点,现有应用改 base URL 即可接入。代码开源于 github.com/robd-hub/cheap-first。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →