开源项目 ARBR:给多模型流量加路由与治理层,自动降本不掉质
Genie-Tickle-007 · reddit · 2026-09-03
团队开源了 ARBR——一个部署在现有 LLM 供应商前面的 OpenAI 兼容端点,MIT 协议、完全自托管免费。
核心思路:团队常能看清 LLM 调用成本,却搞不清哪些负载可以换成更便宜的模型而不掉质量。ARBR 在请求路径上对每个请求分类(任务类型、难度),并支持设置路由规则、预算与限流。
亮点设计:
- 模型切换前先对采样的线上流量跑 eval,再以 shadow 或 canary 方式灰度发布,质量回退可自动回滚
- 路由决策保持基于规则且可逆,任何自动晋升都需人工审批
项目已在 Product Hunt 发布,仓库见 GitHub 的 project-arbr/arbr-control-plane。
「编程与Agent」频道最新
- 「OpenClaw 已死」?低成本国产模型或让龙虾类 Agent 真正普及 — FuSheng_0306 · 2026-09-03
- /show-me skill 走红:把 PR 描述变得一眼可读 — mattpocockuk · 2026-09-03
- ROS 2 时间获取避坑:用 node.get_clock() 而非 time.time() — 4310sy · 2026-09-03
- Matt Pocock 力荐 show-me skill:用伪代码和树状图读懂代码 — mattpocockuk · 2026-09-03
- 用户实测:Opus 5 全天重度使用,不开子代理并行不愁限额 — 4310sy · 2026-09-03
- 手机远程访问本地 AI 环境最简搭建教程 — TheZachMueller · 2026-09-03