生产环境如何优雅处理多 LLM 供应商的限流与路由
Southern_Public42 · reddit · 2026-08-16
开发者正在构建一个功能，将请求路由到多个 LLM 供应商，以避免触及免费或低档层的速率限制。目标是保持云端部署且维护成本最低。作者发起讨论：是构建自定义的供应商回退逻辑，还是依赖现有的路由层/库？同时也想了解其他开发者如何设计重试逻辑，以避免增加终端用户的延迟。
「Infra」频道最新
- 4090 本地跑 Qwen 27B:近100 token/s — cocktailpeanut · 2026-08-16
- 传 Nvidia 拟投 30 亿美元，助 OpenAI 锁定俄州数据中心 — rohanpaul_ai · 2026-08-16
- Seeed 推出 reComputer RK3576 边缘 AI 模块 — ___Mufasaa · 2026-08-16
- Agent 容量规划指南：避免生产环境算力惊魂 — blaizedsouza · 2026-08-16
- GPU 架构与显存带宽如何决定 LLM 推理速度 — blaizedsouza · 2026-08-16
- Apple MLX 生态碎片化严重，呼唤统一标准 — andrejusb · 2026-08-16