vLLM 单机架跑 DeepSeek-V4.1-Flash 达 954K tokens/s,媲美官方 DeepInfer
bookwormengr · x · 2026-11-02
有人建议 Elon Musk 参考 DeepSeek 4.1 Flash 的架构来重构 Grok,称其在单位 TCO 下的 token 产出高 80 倍,并引用 vLLM 官方博客的数据支撑:在单台 NVIDIA GB300 NVL72 机架上,配合 P/D 分离与 Wide-EP,vLLM 在 SemiAnalysis AgentX 基准上达到每 GPU 954K tokens/s、用户 P90 时延 196 tokens/s,较此前单机结果提升 7.9 倍;解码吞吐与 DeepSeek 自研引擎 DeepInfer 差距在 6% 以内,离峰价格约 $38.96/GPU-小时。效率来自 Engram、Encoder-Decoder 架构、层内 KV 复用等设计,以及基于 DeepSeek 开源内核的工程优化(小 DEP 实例做 prefill、EPLB 的 Wide-EP 解码、专用低延迟解码路径等)。配图为 SemiAnalysis 的 Kimi K3 与 DeepSeek V4.1 Flash 每 $1 TCO token 数对比曲线。
「Infra」频道最新
- FT 图表：四大科技巨头 CapEx 狂飙是理性押注而非无脑烧钱 — luisdans · 2026-11-02
- Liquid AI d1 决策模型实测:2B 小模型分类准确率碾压同级通用模型 — JosephJacks_ · 2026-11-02
- 智能降价99%用量暴增500倍,杰文斯悖论正在应验 — luisdans · 2026-11-02
- OpenAI 或将数据中心改名为「AI 算力园区」 — TechCrunch AI · 2026-11-02
- 路易斯安那 3000 亿美元项目挤压钢铁,工字钢交期长达 9 个月 — MatthewChang · 2026-11-02
- Reddit 实测：Speedy 推理引擎碾压 Avalon，读速快 1.6 倍 — MotorNetwork380 · 2026-11-02