vLLM 追平 DeepSeek 自研引擎 DeepInfer 的 V4.1-Flash 推理性能
vllm_project · x · 2026-10-25
vLLM 官方宣布：在 DeepSeek 的 decode 配置下，vLLM 在 batch size 8–256 区间内性能追平了 DeepSeek 为 DeepSeek-V4.1-Flash 自研的推理引擎 DeepInfer，且 vLLM 用 DEP32 对阵 DeepInfer 的 EP64DP64。DeepInfer 最初就是基于 vLLM 构建，vLLM 通过集成 DeepSeek 开源的 kernel 并深度优化 prefill 和 decode 实现了性能曲线的追平。配图为两者 decode 与 prefill 的吞吐-延迟对比图。
所属事件:vLLM 追平 DeepSeek 自研引擎 DeepInfer 推理性能(2 条相关)→
「Infra」频道最新
- Jev 生态爆发：7.1 秒订机票浏览器 Agent 等 5 个开源项目盘点 — udmrzn · 2026-10-25
- AWS Interconnect 三云互通:营收不明但战略信号强烈 — DavidLinthicum · 2026-10-25
- CMU 教授买 B300 想转租跑 DeepSeek 代币给全实验室发工资 — niloofar_mire · 2026-10-25
- 五大超大规模厂商 2029 年折旧将达 5900 亿美元 — GaryMarcus · 2026-10-25
- vLLM 在 GB300 NVL72 上跑出 954K tokens/s/卡,服务 DeepSeek V4.1-Flash — vllm_project · 2026-10-25
- 英国人均发电量跌破 1970 年代，KOL 哀叹 AI 算力时代掉队 — NinaDSchick · 2026-10-25