自建 LLM 自动路由器 Jev：比全用 Opus 便宜 9 倍，成功率仅降 4 个百分点
airesearch12 · x · 2026-09-18
开发者 @airesearch12 发布了一个基于 Jev 策略的 Auto-LLM-Router（auto-router playground），并附实测视频：同样的任务下，路由方案比「一切都用 Opus」便宜约 9 倍，成功率 89% vs 93%，每次路由决策仅需约 0.7 秒，几乎无感知延迟。
其核心思路颇有意思：大多数路由器忽略了「热缓存」的价值。已经读过对话上下文的厂商，下一轮输入按约 1/10 的缓存价计费；换模型则整个 prefix 要按全价重写。所以每一轮的决策不是「哪个模型最好」，而是「更好的模型是否值得放弃热缓存」——且这个答案会随缓存过期时间变化。
playground 可视化了完整决策过程：对每个候选模型按当前请求的能力、单价、实测成功率、预期总成本（含重试风险与等待时间）定价，选期望总成本最低者。默认隐藏免费档位，因为免费路由没有缓存价格，会破坏权衡。
所属事件:开发者基于 Jev 自建 LLM 路由器：更快更省，成功率略降(3 条相关)→
「编程与Agent」频道最新
- Google Workspace CLI 工具 gog 推出 MCP 服务器,默认只读可白名单放行 — steipete · 2026-09-19
- Bolt:开源模型上线首周,DeepSeek V4.1 Flash 用量达 V4 Pro 十倍 — rohanpaul_ai · 2026-09-19
- 多人共享 Agent 会话:能看到对方正在输入什么 — steipete · 2026-09-19
- npm 联创 Laurie Voss:人人都将是产品工程师,岗位年薪24万美元 — round · 2026-09-19
- AI 工具辅助通关 Geometry Dash 恶魔级 Clubstep,方法全开源 — imjustnewatai · 2026-09-19
- ty 即将支持递归隐式类型别名,底层用 mu types 实现 — charliermarsh · 2026-09-19