开发者用轻量模型替换自动路由分类器：秒级响应且近乎零成本

有开发者发现，用轻量的 Jev 模型替换 auto-router 中负责分类的 LLM 后，模型路由基本瞬时完成且成本几乎为零，实现者称效果「好到离谱」。他还开源了可本地运行、附带在线演示的 auto-router playground。相关分享还指出暖缓存带来的成本优势甚至比选用便宜模型更有价值，为低延迟低成本的 LLM 请求路由提供了新思路。

2026-09-19 ~ 2026-09-19 · 2 条相关

• 开源 auto-router 按实时成本路由请求：揭示暖缓存比便宜模型更值钱 — airesearch12 · 2026-09-19
• 开发者用 Jev 替换自动路由里的分类 LLM：秒级响应且几乎免费 — airesearch12 · 2026-09-19