开源模型路由器把 prompt cache 算进切换决策,避免越切越贵
Broad_Abies9390 · reddit · 2026-11-21
开发者发布了 Apache-2.0 的 OpenCode V2 插件 opencode-router(受 Pi 的 smart-router 启发),核心思路是把缓存成本纳入模型切换决策:
- 用本地小模型(如 Qwen 4B)当 judge 逐轮评估,再从用户配置的本地+云端模型池里选择,可偏好成本、质量或均衡;judge 超时则回退到确定性启发式
- 关键洞察:切到更便宜的模型可能反而更贵,因为新模型要冷读全部上下文。路由器对比「当前模型的缓存输入成本」与「新模型的冷输入成本」,默认钉住当前模型,除非备选质量显著更好、任务需要更强能力或便宜得多;另有防来回抖动保护
- 24 轮长会话模拟基准中,均衡模式切换 7 次 vs 激进模式 18 次,成本 $4.212 vs $4.190——该场景下切换更频繁反而略便宜
- 作者坦承局限:基于公开定价、假设同模型 80% 缓存复用、未计 judge 延迟,属成本模拟而非真实收益证明,征求端到端评估与实际缓存命中的反馈
代码:github.com/231self/opencode-router
「编程与Agent」频道最新
- 别神化 MCP:服务器本身不用 AI,本质是给 Agent 用的 API 封装 — tristanbob · 2026-11-21
- DPP 选择机制续解:为何三个快速排序反而得分低 — xtimv · 2026-11-21
- Claude Code v2.1.330 发布:修复长对话压缩后卡死数分钟 — claude-code-publisher[bot] · 2026-11-21
- MIT/斯坦福等办 WSDM Cup:AI 写 Community Notes 赛题开赛,奖金 1 万美元 — sanmikoyejo · 2026-11-21
- KV cache 决定一切:agent 成本大头是重读上下文,供应商几乎零成本 — AccBalanced · 2026-11-21
- 用 Astra 6.0/6.2 一句话生成 GTA 风开放世界,单次跑 15–18 分钟 — Beanyy_Weenie · 2026-11-21