开源自托管网关 Routerly 0.6.0 发布：按成本/延迟/意图路由 LLM 请求

nurge86 · reddit · 2026-11-04

开发者发布 Routerly 0.6.0，一款 AGPL 协议的自托管 LLM 网关，部署在应用与模型服务商之间：应用用 OpenAI 或 Anthropic 兼容客户端接入，可配置每个路由器可用哪些模型、按成本/延迟/语义意图如何选择，不同应用可用不同路由器和预算；用量记录可查每次调用由哪个模型处理及 token、延迟、成本。新版本加入路由 Test 标签页、Usage 支持按 session/终端用户/标签过滤、模型超时可配置，并提供 Codex 和 OpenCode 接入指南。作者想了解大家构建 LLM 应用时路由决策出人意料时需要什么 trace 信息来调试。