LiteLLM 生产故障后，这支 15 人团队开始评估 TrueFoundry、Kong 和 Portkey
Valuable_Working7557 · reddit · 2026-07-21
一支约 15 人的 ML 团队在一次生产故障后，开始认真评估 LiteLLM 的替代方案。
- 他们目前遇到的问题包括：仪表盘不稳定、一次升级导致 生产路由中断数小时，以及维护成本越来越高。
- 讨论中的候选方案有 TrueFoundry、Kong 和 Portkey。
- 团队最看重的是：
- 按团队做成本归因；
- 观测能力够用，但不想再外挂一套工具；
- 方案本身不要变成新的运维项目。
- 帖子真正想问的是：有没有人在 真实流量下连续跑了 3 个月以上 的经验。
「Infra」频道最新
- Anthropic 背 4750 亿美元算力合约,OpenAI 到 2030 年拟投约 7500 亿 — kyliebytes · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27