多LLM路由与监控怎么做

Pale-Tie-3691 · reddit · 2026-07-09

帖子描述了一个同时使用 OpenAI、Bedrock 和本地 LLM 的生产环境，现阶段难点是统一管理这些资源。作者希望实现规则化路由，例如默认用 OpenAI，超预算后自动切到本地模型。