LiteLLM 生产故障后，这支 15 人团队开始评估 TrueFoundry、Kong 和 Portkey
Valuable_Working7557 · reddit · 2026-07-21
一支约 15 人的 ML 团队在一次生产故障后，开始认真评估 LiteLLM 的替代方案。
- 他们目前遇到的问题包括：仪表盘不稳定、一次升级导致 生产路由中断数小时，以及维护成本越来越高。
- 讨论中的候选方案有 TrueFoundry、Kong 和 Portkey。
- 团队最看重的是：
- 按团队做成本归因；
- 观测能力够用，但不想再外挂一套工具；
- 方案本身不要变成新的运维项目。
- 帖子真正想问的是：有没有人在 真实流量下连续跑了 3 个月以上 的经验。
「Infra」频道最新
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27
- OpenAI 可能撞上算力上限，Codex 和 ChatGPT Work 四个月涨到 1000 万 — JoshuaJBouw · 2026-07-27
- NVIDIA 称 Vera CPU 正加速下一代 CPU 和 GPU 设计 — nordicinst · 2026-07-27
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- NVIDIA 说 Vera CPU 让部分 EDA 工作负载提速 1.5 倍 — NVIDIA Blog · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27