NVIDIA 演示混合 AI 智能路由:judge 模型实时分配本地与云端推理
NVIDIA Developer · youtube · 2026-10-02
NVIDIA Developer 频道直播演示在 Lenovo ThinkStation PGX(DGX Spark)上运行混合 AI 的智能路由方案。
- 核心思路:AI tokenomics 下每次路由都是成本决策,由一个轻量 judge 模型评估每个请求,按任务需求实时决定发往本地模型还是云端
- 借助 NVFP4 量化,单台 ThinkStation PGX 上并发运行三个模型,仪表盘实时显示各模型吞吐与每次路由决策的成本曲线
- 演示内容覆盖:NVFP4 量化扩展本地推理容量、混合部署的吞吐/成本对比方法、judge 模型的实时路由机制,以及如何据此估算桌面级系统可承接的工作量
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19