vLLM 发布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 首批推理成绩
vllm_project · x · 2026-11-17
vLLM 官方与 NVIDIA Dynamo 合作,在 SemiAnalysis 的 AgentX 基准上发布了 DeepSeek V4.1 Flash(552B,FP4)在 NVIDIA Vera Rubin NVL72 上的首批推理结果。对比 GB300 NVL72 + Dynamo + vLLM:在每用户 400 tok/s 时单芯片总 token 吞吐高 63.4 倍,600 tok/s 时高 93.3 倍。
「Infra」频道最新
- 估值仅 1/28,Bittensor 子网 Engy 推理量反超 Venice 登全球第二 — markjeffrey · 2026-11-17
- Fractile 融资 7.2 亿美元造 AI 推理芯片,押注推理成本决定 AI 经济学 — YvesMulkers · 2026-11-17
- vLLM 曝 Vera Rubin NVL72 跑 DeepSeek V4.1 Flash,单芯片吞吐最高 93 倍于 GB300 — vllm_project · 2026-11-17
- 10 分钟给手机装上开源 AI:无账号无订阅,飞机模式照常问答 — alex_verem · 2026-11-17
- Cloudflare 一周上线多项更新:Kitesurf 浏览器引擎开源 — ritakozlov · 2026-11-17
- hf-mem v1.0.0 发布:一条命令估算模型推理显存,无需下载权重 — SergioPaniego · 2026-11-17