NVIDIA Dynamo:跨 GPU 节点扩展推理引擎

NVIDIAAI · x · 2026-08-29

NVIDIA 介绍 Dynamo 推理扩展工具的定位:它并非替代现有的推理引擎,而是作为外层封装,与 SGLang、vLLM 和 TensorRT-LLM 等引擎协同工作。

其核心功能是帮助用户在这些引擎之上,更方便地实现跨多个 GPU 和节点的推理扩展,从而提升大规模部署的效率。视频演示了具体的集成架构与工作流。

所属事件:NVIDIA 发布 Dynamo 分布式推理扩展层(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →