加第二家 LLM provider，坏的往往不只是接口
Ok_Extension6373 · reddit · 2026-07-21
这条帖在问：一个产品在生产环境里接入第二家 LLM provider 后，究竟会先坏在哪里。
作者认为，demo 阶段通常很顺利，但真正的坑会在运行中出现：流式事件格式不一致、工具调用解析不同、重试可能造成重复执行或成本膨胀、限流和超时错误不标准，甚至同一个模型由不同 provider 托管时，行为也可能不一样。
帖子的核心判断是：OpenAI-compatible 只说明请求接口长得像，不代表运维层面真的可互换。作者还追问团队如何做行为归一化、日志要记录什么，以及哪些任务不该自动 fallback。
「Infra」频道最新
- 一组系列文章在测试数据科学工作流能否跑满 GPU — pandeyparul · 2026-07-21
- 前 AWS 高管称 Bedrock 利润高于 SageMaker，AI 将推高 CPU 需求 — RihardJarc · 2026-07-21
- Engram 展示智能体记忆如何异步重写事实 — philipvollet · 2026-07-21
- Lightning AI 推出 LitLogger，自动记录训练指标与环境信息 — LightningAI · 2026-07-21
- Moonshot 因 GPU 需求暴涨暂停 Kimi K3 新注册 — eyishazyer · 2026-07-21
- 微软扩大 Mistral 模型接入，覆盖 Azure 全家桶 — arthurmensch · 2026-07-21