开源LLM路由网关Brick:自动匹配最优模型,最高节省22倍成本
alexgenovese · reddit · 2026-07-06
Regolo团队开源了Brick(Apache 2.0),一款混合模型路由器,通过对每个提示词进行能力分类(编程、数学推理、创意、规划、世界知识)和复杂度评估,自动将查询路由到资源池中最便宜且能胜任的模型,单次前向传播完成决策,无级联浪费。实测可将LLM成本降低4.7倍至22倍。以每天1000次调用为例,原本月费约4950美元,经路由后可大幅压缩。项目已开源,支持OpenAPI兼容接口。
「Infra」频道最新
- Michael Dell 称马斯克是最难伺候的客户,Colossus 六周建成换来回购 — elonmusk · 2026-10-27
- Tenstorrent 融资 15 亿美元,估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- 前 MediaTek 专家访谈:Google TPU 外销今年约 80 亿美元,2028 年看 1040 亿 — RihardJarc · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞:用 JEV 决策模型替换 Raft 共识,写入吞吐暴跌 99.98% — irombie · 2026-10-27
- Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27