AWS 教程:用 NeMo Switchyard 按任务成本路由编码 Agent 请求
AWS ML Blog · rss · 2026-11-14
AWS ML Blog 发布完整教程,介绍如何在 Amazon Bedrock 上用开源的 NVIDIA NeMo Switchyard + LiteLLM 网关为编码 Agent(Claude Code、OpenAI Codex CLI 等)做模型路由。
核心观点:
- 编码 Agent 按「任务」计费,单个任务可能包含数十次模型调用;单纯 token 单价无法反映总成本,还要看轮数、历史重放量和重试/失败率。
- 因此路由策略应以「每个已解决任务的成本」(cost per solved task)为指标:总花费 ÷ 测试通过的任务数。
方案要点:
- Switchyard 支持 Stage 路由(根据请求历史中的工具活动,在强模型与低成本模型间二选一)与 Random 加权路由(用于流量切分与 A/B 对比),均不需额外 judge 模型调用。
- 用 AWS CDK 在 ECS Fargate 私有子网部署 LiteLLM+Switchyard 容器,经 WAF、ALB 路径白名单、VPC 接口端点访问 Bedrock Converse API,推理流量不出 AWS 网络。
- 示例对比路由组与单模型基线组(Claude Opus 5.5 与 Nemotron 3 Super 120B)的每任务成本,并提供 benchmark runner 供读者按自身负载评估。
- 官方注明 switchyard-server 0.3.0 为实验性 demo 组件,配置与 API 可能变动,仅建议非生产环境使用。
「编程与Agent」频道最新
- EnvOpt 研究：优化 Agent 环境呈现方式可大幅降本提效 — AlexGDimakis · 2026-11-14
- Cloudflare workerd 集群落地 KV、Queues 与 Workflows，首发版本临近 — irvinebroque · 2026-11-14
- 研究者让 coding agent 自动抓取 Marin 最新 scaling law 拟合参数 — RylanSchaeffer · 2026-11-14
- shadcn 新 UI SDK 实测:agent 与人类共用同一表单组件实时协作 — shadcn · 2026-11-14
- Google Antigravity 重置全员 Gemini 额度，庆祝一周密集更新 — rseroter · 2026-11-14
- 十年 PostgreSQL 专家自述：Claude 让全团队都成了数据库专家 — RealGeneKim · 2026-11-14