求推荐支持动态路由与热更新的开源LLM网关
OrneryCar6139 · reddit · 2026-08-07
开发者在社区求助，寻找一款开源且可自托管的 AI/LLM 网关，要求能够部署在 Agent 框架（如 CrewAI、LangGraph）与多个 LLM 提供商之间。
核心需求：
- 动态运行时路由：支持在不重启网关或 Agent 的情况下，动态增删模型、启停模型以及调整路由权重。
- 基础设施能力：多提供商支持、负载均衡、故障转移、重试、超时、健康检查以及延迟指标监控。
- 兼容性：提供与 OpenAI 兼容的 API。
作者表示目前考察了 LiteLLM 和 Portkey，但它们似乎都无法很好地满足这种集中管理且支持热更新的配置需求，询问业界是否有成熟的开源项目，还是大多数团队都在自己造轮子。
「编程与Agent」频道最新
- Claude 沙盒叠加自动批准致安全形同虚设 — julsimon · 2026-08-07
- 求助：如何将 Google Keep 接入 Claude MCP — Kayakerguide · 2026-08-07
- Valibot vs Zod 之争:仅微调 Zod 即可实现巨大内存节省 — DanielLockyer · 2026-08-07
- 开发者实测：用 ChatGPT Codex 独立完成游戏平衡与部署 — Dimillian · 2026-08-07
- 开源项目 RunSpawn:让 DeepSeek 自动生成多智能体 — Kyrannio · 2026-08-07
- 吴恩达多智能体架构图解:反思与工具调用提升质量 — theomitsa · 2026-08-07