AssemblyAI 推出 LLM Gateway 熔断器:模型劣化前自动切换 fallback

AssemblyAI · x · 2026-11-20

AssemblyAI 为其 LLM Gateway 推出 beta 版 circuit breaker(熔断器)功能:请求发出前先检查模型的延迟与失败率,若模型性能劣化超过阈值,网关会跳过它并转向下一个 fallback 模型。\n\n与 fallback 机制的区别在于:fallback 是在请求已失败后反应,熔断器则在模型正在劣化时就切换,慢模型或故障模型不会让用户多花任何成本。功能支持 chat completions 和 decisions 请求,通过 fallbackconfig.circuitbreakerconfig 设置百分比阈值或失败次数阈值即可启用。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →