143 题实测「便宜模型优先」路由:仅 4 题升级前沿模型,成本降 80%
xrplincoln · reddit · 2026-11-16
作者针对「所有请求都打前沿模型」的默认做法,做了逐题路由实验:
流程
- 便宜模型(DeepSeek V4.1 Flash,输出 $0.07/百万 token)先作答
- 一个小型 checker 模型按正确性、遵循指令、编造内容三项打 0-100 分
- 低于 75 分的答案才升级到前沿模型(Claude Opus 5.5)
结果(143 题 = 104 日常 + 39 压力测试,成本均来自 API 实际返回的 token 计数)
| | 便宜优先 | 纯前沿模型 |
|---|---|---|
|总成本|$0.27|$1.33|
|平均质量分|99.7|98.0|
|由便宜模型回答|139/143|—|
日常题省 98%,压力题省 66%。checker 只升级了 4 题,其中 3 次是真抓错(计数错误、40 位乘法和超难数独答成空白),1 次误报;另测 8 道故意改错的答案全部识别。
短板:checker 本身是坏答案流向用户前的唯一屏障,作者征求更严格的测试方法。项目提供 OpenAI 兼容端点,现有应用改 base URL 即可接入。代码开源于 github.com/robd-hub/cheap-first。
「编程与Agent」频道最新
- AI 编程一年史(讽刺版):没人再写代码,但大家还在摸意义 — mattpocockuk · 2026-11-16
- Executor 重做 Agent 审批机制:四种模式,还能像 Gmail 撤回邮件一样撤销操作 — threepointone · 2026-11-16
- 实测 NVIDIA SkillSpector 扫描 4 个热门 Agent Skills 仓库:看发现别看分数 — viest_me · 2026-11-16
- 用 Codex 和 Claude Code 交付三个项目后,我一行代码都没学会 — ThatGuyJord2020 · 2026-11-16
- Vercel 网关数据:超半数请求流向发布不足 60 天的新模型 — aruthesa · 2026-11-16
- 开源神器 Craft Anything 16天揽3.4万星,让 Claude Code 复刻任意软件 — thisguyknowsai · 2026-11-16