Nvidia推出Switchyard路由器,任务中途换模型降本至1/3
CackleRooster · reddit · 2026-08-12
针对企业运行常驻 AI Agent 时面临的成本与性能权衡难题,Nvidia 提出了 Switchyard router 解决方案。
传统做法要么将所有任务交给昂贵的旗舰模型导致账单飙升,要么手动编写路由逻辑将简单任务分配给廉价模型,维护成本极高。Switchyard 能够在任务执行的中途动态切换底层使用的 AI 模型。据 Nvidia 内部测试显示,这种动态重排机制成功将任务推理成本削减至原来的三分之一。
所属事件:英伟达推出Switchyard路由器:Agent任务中途换模型降本(3 条相关)→
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩,市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起,AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar:最快 zkVM,比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能:三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16