Reddit 在比 LLM 网关的 fallback 和成本追踪
Own_Bar_920 · reddit · 2026-07-23
这条 Reddit 讨论在问：哪款 LLM gateway 同时把 fallback 和成本追踪做得最好？ 帖主把 LiteLLM、OrqAI、Portkey、OpenRouter、NGC 都摆出来比较。
帖子里的对比
- LiteLLM：fallback 做得不错，成本追踪也有，但往往需要额外配置。
- OrqAI：把 fallback 和成本追踪放在一起做，方向不错，但生态还在早期。
- Portkey：主打可靠性和 fallback，比较像为稳定性而生，但成本统计没那么细。
- OpenRouter：接入模型方便、能看基础成本，但 fallback 能力相对弱一些。
- NGC：更偏企业级，可靠性强，但对小团队来说可能过重。
核心问题
作者想找的不是“模型谁更强”，而是能否在多家模型之间切换、自动降级，并且把费用统计管理好。这是一个很典型的 AI 基础设施选型问题，偏工程实践而不是产品层面的使用。
「Infra」频道最新
- NVIDIA 说物理 AI 需要 EB 级仿真数据 — jonstephens85 · 2026-07-23
- DeepSeek 说自己离全面商业化还很远 — teortaxesTex · 2026-07-23
- Alphabet 以外部融资支撑 AI 基建，自由现金流首次转负 — mkheck · 2026-07-23
- 传 Intel 或与 Hynix 围绕俄亥俄工厂组建合资公司 — zephyr_z9 · 2026-07-23
- Ninja 推出奖励低 token 效率 agent 的子网 — const_reborn · 2026-07-23
- Bittensor 给子网注册引入矿工抵押并随发放释放 — const_reborn · 2026-07-23