vLLM 追平 DeepSeek 自研推理引擎 DeepInfer，batch 8-256 全线持平
lmoroney · x · 2026-10-25
vLLM 团队宣布 vLLM 在 DeepSeek-V4.1-Flash 的 decode 配置上、batch size 8 到 256 区间内性能追平 DeepSeek 自研引擎 DeepInfer。做法是引入 DeepSeek 的开源 kernels，并做大量 prefill 与 decode 调优，vLLM 跑在 DEP32 而 DeepInfer 用 EP64DP64。有趣的细节：DeepInfer 最初基于 vLLM 构建，开源完成了闭环。作者建议：服务 DeepSeek 模型的用户先用真实 prompt 长度在最新 vLLM 上重跑 benchmark，再决定是否维护第二套推理栈。
所属事件:vLLM 追平 DeepSeek 自研引擎 DeepInfer，GB300 单卡 954K tokens/s(10 条相关)→
「Infra」频道最新
- 云容量危机已成 AI 架构问题，作者撰文剖析挑战 — DavidLinthicum · 2026-10-26
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26