AssemblyAI 推出 LLM Gateway 熔断器:模型劣化前自动切换 fallback
AssemblyAI · x · 2026-11-20
AssemblyAI 为其 LLM Gateway 推出 beta 版 circuit breaker(熔断器)功能:请求发出前先检查模型的延迟与失败率,若模型性能劣化超过阈值,网关会跳过它并转向下一个 fallback 模型。\n\n与 fallback 机制的区别在于:fallback 是在请求已失败后反应,熔断器则在模型正在劣化时就切换,慢模型或故障模型不会让用户多花任何成本。功能支持 chat completions 和 decisions 请求,通过 fallbackconfig.circuitbreakerconfig 设置百分比阈值或失败次数阈值即可启用。
「编程与Agent」频道最新
- Vercel CEO:目标导向的工程师现在是 1000x,纠结细节者 -10x — tlakomy · 2026-11-20
- LangChain 融资后开启迷你发布周:追踪治理、工具网关、编码agent版LangSmith — hwchase17 · 2026-11-20
- Techtree 打包技能、环境与评估,帮企业把 agent 能力「可证升级」 — seanwbren · 2026-11-20
- 开源 F1 MCP Server:遥测、轮胎衰退与蒙特卡洛策略模拟 — modelcontextprotocol · 2026-11-20
- Maindex 推出极简智能体记忆服务,仅四个显式工具 — modelcontextprotocol · 2026-11-20
- Linear COO 访谈:ARR 破 1 亿美元,过半工作由 agent 创建 — Latent Space · 2026-11-20