5.9 万次请求实测:模型路由只升不降,省钱靠的是缓存
mrtrly · reddit · 2026-09-22
作者搭建了一个模型路由器想给 Agent 降本,复盘数据后发现路由只在「升级到更强模型」方向工作:59,299 次请求中,8,458 次升级到贵模型,0 次降级。
关键数据:
- 列表价总额约 $5,085(实际跑在 Max 订阅上,真实现金支出只有几百美元);中位单次请求仅 4 美分,没有失控的单次大调用
- 升级调用占列表价约 $1,505,账本本可再低约 30%——不是路由器差,而是它只升不降
- 真正省钱的是缓存:不缓存列表价要 $16,980,缓存后 $5,085,省约 70%;而升级会破坏缓存,成本约为原值的 7 倍,这是价目表上看不到的隐藏代价
- 最痛的是 coder 支出:72%($3,218)花在被取消的任务上;一个「修复失败测试」任务跑了 76 次尝试烧掉 $940,最深的自动修复链达 19 层才被手动终止
结论:当默认模型已经很便宜时,路由器是质量旋钮而非省钱旋钮;该盯的指标是「每个交付物的成本」,每请求成本只是虚荣指标。作者已开源记录这一切的代理。
「编程与Agent」频道最新
- 他用 vibe coding 写油猴脚本,修大学系统多年无人理的 UX 问题 — craig_macdonald · 2026-09-22
- 用语音+本地转写模型直接「说」出 shadcn 界面布局 — _AustinCalvert_ · 2026-09-22
- GitHub 千星项目 ai-copywriter:写出吸睛文案并抹掉 AI 痕迹 — tom_doerr · 2026-09-22
- 开源 ContextBridge:让任务自己找算力,打通本地机、API 与共享主机 — IamAngusU · 2026-09-22
- 微软复盘百余个内部 AI 项目:先发工具没用,先改流程才有效 — alex_verem · 2026-09-22
- 开源 signal-mcp:让 Claude 本地访问你的 Signal 聊天记录 — googlarz · 2026-09-22