Nvidia推出Switchyard路由器,任务中途换模型降本至1/3

CackleRooster · reddit · 2026-08-12

针对企业运行常驻 AI Agent 时面临的成本与性能权衡难题,Nvidia 提出了 Switchyard router 解决方案。

传统做法要么将所有任务交给昂贵的旗舰模型导致账单飙升,要么手动编写路由逻辑将简单任务分配给廉价模型,维护成本极高。Switchyard 能够在任务执行的中途动态切换底层使用的 AI 模型。据 Nvidia 内部测试显示,这种动态重排机制成功将任务推理成本削减至原来的三分之一。

所属事件:英伟达推出Switchyard路由器:Agent任务中途换模型降本(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →