按请求动态选模型的路由代理
Nilofer_tweets · x · 2026-07-16
Neural UCB Router 是一个 **OpenAI 兼容的 API 代理**，会根据请求内容动态把流量路由到“最便宜但仍足够强”的模型。 帖子给出的效果是：相比把所有请求都丢给 GPT-4o，这套路由方案可以把成本降低 **88%**，同时保持 **92%** 的质量。作者还举了两个极端例子：简单算术不该浪费高价模型，复杂代码排错也不能只用本地弱模型。
Nilofer_tweets · x · 2026-07-16
Neural UCB Router 是一个 **OpenAI 兼容的 API 代理**，会根据请求内容动态把流量路由到“最便宜但仍足够强”的模型。 帖子给出的效果是：相比把所有请求都丢给 GPT-4o，这套路由方案可以把成本降低 **88%**，同时保持 **92%** 的质量。作者还举了两个极端例子：简单算术不该浪费高价模型，复杂代码排错也不能只用本地弱模型。