内部多模型网关怎么选
Preacher2106 · reddit · 2026-07-17
一个团队在讨论给内部多个小组搭建统一的 **AI gateway**，目标是让大家能访问 OpenAI、Anthropic、Bedrock 等不同供应商模型，同时避免分散的原始 API key。 他们的需求很明确： - 用虚拟/合成 key 做访问控制 - 能看到每个团队的用量和成本 - 不想要一个需要专职工程师长期维护的方案 候选方案包括： - **LiteLLM**：上手最自然、社区活跃，但担心升级和稳定性 - **TrueFoundry**：治理和团队成本统计做得好 - **Portkey**：体验更精致，但自托管能力存疑 - **Kong**：能力强，但对这个场景可能过重 - **OpenRouter**：覆盖广，但不一定适合内部权限管理 发帖人目前偏向 LiteLLM，但想确认它的升级/稳定性问题到底是不是只在生产高负载下才明显。