DeepInfer 开源与 vLLM 追平：推理引擎竞速

第 1 集 · vLLM 追平 DeepSeek 自研引擎 DeepInfer，GB300 单卡 954K tokens/s(2026-10-25,10 条)

vLLM 官方于 10 月 25 日同日宣布两项成果：一是在 DeepSeek-V4.1-Flash 的官方 decode 配置下，vLLM 已在 batch size 8–256 全区间内追平 DeepSeek 为该模型自研的推理引擎 DeepInfer，且是在 DeepSeek 官方评测环境 DEP3 中达成；二是发布工程博客《Serving DeepSeek-V4.1-Flash at Scale》，公布在单台 GB300 NVL72 机架上以 SemiAnalysis AgentX 真实 agentic 工作负载服务该模型，达到单 GPU 954K tokens/s，并称创下该模型的历史最佳表现。

已确认

• 在 DeepSeek 官方 decode 配置、batch 8–256 全区间，vLLM 性能曲线与 DeepInfer 对齐，结果在 DeepSeek 官方评测环境（DEP3）下取得
• 性能对齐的做法是引入 DeepSeek 方面的开源实现（据 @lmoroney 转述）
• 在单台 GB300 NVL72 机架上采用 P/D 分离（Prefill/Decode disaggregation）与 Wide-EP 部署，为 SemiAnalysis AgentX 基准服务 DeepSeek-V4.1-Flash，达到每 GPU 954K tokens/s，同时给出 P90 每用户延迟等指标，博客称整体吞吐提升 7.9 倍
• SemiAnalysis 的 AgentX 基准对上述性能结果提供了独立验证（据 @AccBalanced 转述）
• 博客还援引第三方实测数据称 DeepSeek 每块 GPU 可产生 38 美元营收（据 @woosukk 转发的博客内容）
• 上述结果由 vLLM 官方账号 @vllmproject 发布，联合创始人 @woosukk 多次转发扩散

为什么重要

• DeepInfer 是 DeepSeek 为 V4.1-Flash 专门打造的推理引擎，开源框架 vLLM 能在官方配置与官方评测环境下追平其性能，意味着用户无需私有引擎即可获得同等吞吐，显著降低大规模部署门槛
• GB300 NVL72 单机架 954K tokens/s/卡 的数据展示了新一代 NVL72 硬件配合 P/D 分离与 Wide-EP 架构在真实 agentic 负载上的可扩展性，为超大规模推理服务提供了参考基准
• 「每 GPU 38 美元营收」的第三方估算为推理基础设施的商业回报提供了量化参照，若成立将强化大规模 GPU 集群自建推理服务的经济性论证

• vLLM 追平 DeepSeek 自研引擎 DeepInfer 的 V4.1-Flash 推理性能 — vllm_project · 2026-10-25
• vLLM 单机架跑出 95.4 万 token/s/GPU，追平 DeepSeek 自研引擎并扩至 GB300 NVL72 — vllm_project · 2026-10-25
• vLLM 在 GB300 NVL72 上跑出 954K tokens/s/卡,服务 DeepSeek V4.1-Flash — vllm_project · 2026-10-25
• vLLM 追平 DeepSeek 自家引擎 DeepInfer,推理性能曲线已对齐 — woosuk_k · 2026-10-25
• vLLM 在 GB300 NVL72 上跑出 DeepSeek-V4.1-Flash 最佳成绩：单卡 954K tokens/s — woosuk_k · 2026-10-25
• vLLM 追平 DeepSeek 自研推理引擎 DeepInfer，batch 8-256 全线持平 — lmoroney · 2026-10-25
• vLLM 在 GB300 机架跑出单卡 95 万 token/s,服务 DeepSeek V4.1-Flash — woosuk_k · 2026-10-25
• 第三方实测证实 DeepSeek 每GPU 38美元营收，vLLM 吞吐达 7.9 倍 — woosuk_k · 2026-10-25
• vLLM 单机架吞吐提升 7.9 倍,追平 DeepSeek 自研推理引擎 — Xianbao_QIAN · 2026-10-25
• vLLM 性能追平 DeepSeek 官方引擎 DeepInfer,获 SemiAnalysis 基准验证 — AccBalanced · 2026-10-26

第 2 集 · DeepSeek 开源生产推理引擎 DeepInfer(2026-10-25,6 条)

DeepSeek 开源了其生产环境中实际支撑 V4.1 Flash 服务的推理引擎 DeepInfer，成为本周期最受关注的 AI 基础设施事件之一。该项目以 Apache 2.0 协议发布，并同时支持 NVIDIA Blackwell 与华为昇腾两类硬件平台，社区反响热烈，ThursdAI 播客嘉宾 Yam Peleg 评价称这一开源「把互联网都搞炸了」。

已确认

• DeepInfer 是 DeepSeek 生产环境实际在用的推理框架，支撑 V4.1 Flash 的线上服务，采用 Apache 2.0 开源协议（@altryne）。
• 硬件层面同时兼容 NVIDIA Blackwell 与华为昇腾芯片（@altryne）。
• @dlweekly 转述的性能与经济数据：单集群每天服务 155 万亿 token；按错峰定价计算，收入约合每 GPU 小时 38 美元。
• @teortaxesTex 转述业内人士分析：DeepInfer 是为 4.1F 模型深度定制的，任务摊派完全不考虑显存容量，因为 4.1F 的 KV cache 极度优化，每个 token 只需 890 字节，整条 1M token 上下文的显存占用也随之大幅降低。
• ThursdAI 播客（@thursdaipod）对 DeepInfer 做了逐项拆解，分析了其中包含什么、还缺什么。

尚未确认

• 「每 GPU 小时 38 美元」的收入换算与 KV cache 具体参数均来自转述或业内人士分析，官方文档细节以 DeepSeek 后续发布为准。

为什么重要

• DeepInfer 直指推理框架的核心问题——以合理价格服务海量用户（@dlweekly），开源生产级方案而非演示性代码，对推理基础设施社区有直接参考价值。
• 同时支持英伟达与华为昇腾硬件，意味着该引擎为国产昇腾生态提供了可复用的生产级推理路径。
• KV cache 每 token 仅 890 字节的优化，解释了引擎为何可以不考虑显存容量做任务调度，也为超长上下文服务的显存成本提供了新标杆。
• 每 GPU 小时约 38 美元的收入换算，为外界估算大模型推理服务的经济模型提供了一个少见的公开锚点。

• DeepSeek 开源 V4.1 Flash 生产推理引擎，可跑英伟达与华为芯片 — altryne · 2026-10-25
• DeepSeek 开源 V4.1 Flash 生产推理引擎，可跑英伟达与昇腾 — altryne · 2026-10-25
• DeepSeek 开源 V4.1 Flash 背后的推理引擎 DeepInfer，播客拆解细节 — thursdai_pod · 2026-10-25
• DeepSeek 开源 V4.1 Flash 背后推理引擎 DeepInfer — thursdai_pod · 2026-10-25
• DeepInfer 为 DeepSeek 4.1F 深度定制：KV cache 每 token 仅 890 字节 — teortaxesTex · 2026-10-25
• DeepSeek 开源生产级推理框架 DeepInfer：单集群日处理 155 万亿 token — dl_weekly · 2026-10-26