vLLM 追平 DeepSeek 自研引擎 DeepInfer 推理性能

vLLM 官方发布工程博客《Serving DeepSeek-V4.1-Flash at Scale》，宣布在 DeepSeek 的 decode 配置下，batch size 8–256 区间内性能追平 DeepSeek 为 V4.1-Flash 自研的 DeepInfer 引擎。此外 vLLM 还在单机架上实现每 GPU 95.4 万 token/s 的吞吐，并将部署扩展至 GB300 NVL72 系统。

2026-10-25 ~ 2026-10-25 · 2 条相关

• vLLM 追平 DeepSeek 自研引擎 DeepInfer 的 V4.1-Flash 推理性能 — vllm_project · 2026-10-25
• vLLM 单机架跑出 95.4 万 token/s/GPU，追平 DeepSeek 自研引擎并扩至 GB300 NVL72 — vllm_project · 2026-10-25