LLM 降级策略盲区：响应卡顿不报错，fallback 永远不触发

FallElectronic3774 · reddit · 2026-11-11

Reddit 帖指出 LLM 服务的 fallback 代码常见盲区：重试逻辑通常只在抛异常时触发，能处理 429/500 这类在响应开始前就失败的错误，但处理不了「接受请求却在首 token 前卡住」的慢供应商——此时没有任何异常，客户端只能干等自己的超时。作者建议单独设置一个 time-to-first-byte 超时，且必须在向客户端写出任何内容之前触发；一旦首块已经输出，重试只会产生一个残缺回答旁边的第二个答案。