vLLM 发布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 首批推理成绩

vllm_project · x · 2026-11-17

vLLM 官方与 NVIDIA Dynamo 合作,在 SemiAnalysis 的 AgentX 基准上发布了 DeepSeek V4.1 Flash(552B,FP4)在 NVIDIA Vera Rubin NVL72 上的首批推理结果。对比 GB300 NVL72 + Dynamo + vLLM:在每用户 400 tok/s 时单芯片总 token 吞吐高 63.4 倍,600 tok/s 时高 93.3 倍。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →