开发者展示基于 Jev 的自动 LLM 路由器，679ms 完成决策

airesearch12 · x · 2026-09-18

一位开发者构建了基于 Jev 的 Auto-LLM-Router 并开放了实时 playground，单次路由决策约 679ms。路由器会按请求分类、为每个候选模型按实际成本（含重做风险）定价，选期望总成本最低的模型。

其中最核心的洞察是暖缓存可能比更便宜的模型更值钱：已读过对话的 provider 下一次输入计费约为十分之一，换模型则整个前缀要全价重写，所以每轮真正的问题是「更好的模型值不值得放弃暖缓存」，且答案随缓存到期时间变化。Playground 还允许直接查询 policy 对象，展示 10 万 token 的 agent 前缀如何影响路由决策，而无需实际付费调用。