LiteLLM Brownout 开源:团队预算吃紧时自动降级到更便宜模型

Creepy_Wave_6767 · reddit · 2026-10-22

开发者发布开源插件 LiteLLM Brownout(github.com/amirimi/litellm-brownout),解决 LiteLLM 网关的预算痛点:团队周预算耗尽后,LiteLLM 会直接拒绝所有请求,导致 Claude Code / Codex 等任务中途停摆。
原理像电网限电:随团队消费攀升,按设定百分比把指定路由逐步切到更便宜模型,「先调暗再断电」;无降级方案的路由(如代码审查)保持原模型。
与 LiteLLM 自带预算功能的差异:官方只在 85%/95% 告警、且仅在单 key 耗尽单模型预算时切换;Brownout 作用于团队总预算、阈值可任意设置,并在降级前校验回退模型对调用者 key 的定价与可用性。
一条命令读取现有网关并生成可审阅的配置,支持 Docker Compose / Kubernetes / pip,无需额外服务。

「编程与Agent」频道最新