「重试一下」藏着三类 LLM 调用失败，只有一类靠重试能解决

ClickOk5811 · reddit · 2026-11-10

Reddit 帖指出，很多 LLM 代码把错误处理写成简单的 retry(3)，实际上混淆了三类需要不同处理方式的失败：

传输/提供商错误：超时、429 限流、5xx。这是唯一适合「直接重试」的场景，应使用指数退避 + 抖动，并尊重 Retry-After 头。
输出格式错误：JSON 非法、字段缺失、值越界。盲目重试同一段 prompt 常会重复出错，更好做法是按 schema 校验，把校验错误附回 prompt 重新请求，并设硬性重试上限；有结构化输出/约束解码的提供商可大幅减少此类失败。
格式正确但内容错误：合法 JSON 里的编造值、漏掉要点的摘要、自信的错误分类。重试无效（没有任何失败信号），需要在模型外部解决：规则校验、对照事实源、独立二次检查，或对高风险案例走人工审核。

作者给出三分段处理的项目骨架代码，并提醒：每次重试都有 token 与延迟成本，务必记录每类失败的日志；超时后重试非幂等操作（发邮件、扣款）可能造成重复副作用；第三类最难，没有通用解，取决于任务对「错」的定义。

「编程与Agent」频道最新