LLM 网关自动故障转移前必须测过的 7 类失败场景清单
Rama_Surasani_ · reddit · 2026-09-21
一位 LLM 网关开发者（明确声明不推销自家产品）向社区征集多供应商系统自动 failover 的工程实践，并给出一份系统性检查清单。
建议先测试的失败场景：
- 供应商返回 429/503
- 连接在任何输出前超时
- 流式输出中途供应商卡死
- 有副作用的工具调用已成功但传输层失败
- 剩余任务时限不足以再试一次
- fallback 模型缺同样的 schema/工具/安全/数据处理能力
- 恢复中的供应商导致路由在健康/不健康间抖动
应显式保证的预期结果：
- 副作用只发生一次
- 不同模型的输出不被混用
- 每次尝试共享同一请求/trace ID
- 尽可能取消原请求
- fallback 仍符合批准的策略
- 总延迟、token 用量与成本保持可见
作者询问哪些场景曾造成团队真实生产事故以及事后改进，评论区是实操经验来源。
「编程与Agent」频道最新
- 开源 Portracker:自动扫描主机端口与服务,告别表格手工登记 — tom_doerr · 2026-09-21
- Termcp 把真实交互终端开放给 Agent,免去逐个开发 MCP — Psychological-Bid722 · 2026-09-21
- 「软件工程已死」?开发者列数据库、K8s、推理运维等一长串反例打脸 — ashishllm · 2026-09-21
- 把 Claude 当你的第一名员工：免重复交代业务的设置法 — evielync · 2026-09-21
- Jev 使用指南：专做判断不写字的「系统 1」模型怎么用 — xiaohu · 2026-09-21
- 观点：Agent 无法自动购买的产品就是去年时代的 SaaS — diegoposts · 2026-09-21