开源项目 ARBR:给多模型流量加路由与治理层,自动降本不掉质

Genie-Tickle-007 · reddit · 2026-09-03

团队开源了 ARBR——一个部署在现有 LLM 供应商前面的 OpenAI 兼容端点,MIT 协议、完全自托管免费。

核心思路:团队常能看清 LLM 调用成本,却搞不清哪些负载可以换成更便宜的模型而不掉质量。ARBR 在请求路径上对每个请求分类(任务类型、难度),并支持设置路由规则、预算与限流。

亮点设计:

项目已在 Product Hunt 发布,仓库见 GitHub 的 project-arbr/arbr-control-plane。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →