vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300
vllm_project · x · 2026-11-17
vLLM 官方宣布首批 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的推理结果,由 Dynamo + vLLM 驱动,基于 SemiAnalysis 的 AgentX 基准测试。
与运行同样 Dynamo + vLLM 栈的 GB300 NVL72 相比,InferenceX 性能标尺显示单芯片总 token 吞吐:
- 每用户 400 tok/s 时提升 63.4 倍
- 每用户 600 tok/s 时提升 93.3 倍
配图显示在低交互性区间两者差距为 3-65 倍,差距随 P90 交互性要求提高而急剧拉大——GB300 在约 400 tok/s/user 后吞吐归零,而 Vera Rubin 可延伸到 1800 以上。
「Infra」频道最新
- 估值仅 1/28,Bittensor 子网 Engy 推理量反超 Venice 登全球第二 — markjeffrey · 2026-11-17
- Fractile 融资 7.2 亿美元造 AI 推理芯片,押注推理成本决定 AI 经济学 — YvesMulkers · 2026-11-17
- vLLM 发布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 首批推理成绩 — vllm_project · 2026-11-17
- 10 分钟给手机装上开源 AI:无账号无订阅,飞机模式照常问答 — alex_verem · 2026-11-17
- Cloudflare 一周上线多项更新:Kitesurf 浏览器引擎开源 — ritakozlov · 2026-11-17
- hf-mem v1.0.0 发布:一条命令估算模型推理显存,无需下载权重 — SergioPaniego · 2026-11-17