开源LLM路由网关Brick：自动匹配最优模型，最高节省22倍成本
alexgenovese · reddit · 2026-07-06
Regolo团队开源了Brick（Apache 2.0），一款混合模型路由器，通过对每个提示词进行能力分类（编程、数学推理、创意、规划、世界知识）和复杂度评估，自动将查询路由到资源池中最便宜且能胜任的模型，单次前向传播完成决策，无级联浪费。实测可将LLM成本降低4.7倍至22倍。以每天1000次调用为例，原本月费约4950美元，经路由后可大幅压缩。项目已开源，支持OpenAPI兼容接口。
「Infra」频道最新
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11