开源 auto-router 按实时成本路由请求：揭示暖缓存比便宜模型更值钱
airesearch12 · x · 2026-09-19
作者用一个轻量模型替换掉 auto-router 里的分类器 LLM 后，路由基本瞬时且零成本，并开源了可本地运行的 auto-router playground（whichmodel.app.mintapis.com）。
核心设计：
- 每个请求约半秒内完成分类，为本次请求给每个候选模型定价，计入失败重做风险，选期望总成本最低者。
- 最有洞察的部分：暖缓存往往比更便宜的模型更值钱——已读过对话前缀的 provider，下一轮输入按约 1/10 计费；换模型则整个前缀按全价重写。因此每轮的问题不是「哪个模型最好」，而是「更好的模型值不值得放弃暖缓存」，且随缓存过期时间变化。
- playground 可实时查看每条路由的定价、成功率、期望成本，还能直接问路由器「你会怎么选」。
所属事件:开发者用轻量模型替换自动路由分类器：秒级响应且近乎零成本(2 条相关)→
「编程与Agent」频道最新
- Meta Muse 实测：任务一多就失忆，个人化智能体尚不成立 — deliprao · 2026-09-19
- 2人+AI智能体写出366个PR，少儿练字应用Scribble首期开班 — LamarDealMaker · 2026-09-19
- 开源Agent应用Nautilo推出命名空间记忆，防止隐私跨房间泄露 — Dan_Jeffries1 · 2026-09-19
- Berkeley 开源 PixelRAG：网页截图取代文本解析做 RAG 检索，星标破万 — tom_doerr · 2026-09-19
- 开发者用 AI 搭视频转写平台替换 SaaS，年省约 120 美元 — AssemblyAI · 2026-09-19
- 让 Computer Agent 自动报销:搜 iMessage、抓 Gmail 收据一键提交 — cameronstow · 2026-09-19