开源代理层帮Agent降本
Shruti_0810 · x · 2026-07-12
这是一个**开源代理路由层**，目标是在**不改代码**的情况下帮助 AI agent 降本。 它的工作方式是： - 不再把每个请求都发给同一个昂贵模型 - 自动把请求路由到更适合的模型 - 在每次请求前加上 guardrails - 结合模型亲和性保持 prompt cache 更热 - 让团队清楚看到每一笔 API 费用去了哪里 作者强调，agent 本身甚至不知道这层代理的存在；只需要一份 YAML 配置，就支持 OpenAI、Anthropic、Gemini、Mistral 等模型。帖子把它定位为“每个 AI 团队最终都会用到的基础设施层”。