vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元
bookwormengr · x · 2026-11-16
bookwormengr 线程第 6 部分:vLLM 与 SGLang 团队独立验证了在 DeepSeek V4.1 Flash 离峰价格下,Grace-Blackwell 与 Vera Rubin 芯片分别可实现每 GPU 每小时 38 美元与 102 美元的收入。vLLM 官方博客详述:在单台 NVIDIA GB300 NVL72 机架上,用 P/D 分离与 Wide-EP 在 SemiAnalysis AgentX 负载下达到每 GPU 954K tokens/s、用户 P90 196 tokens/s,比此前单节点结果提升 7.9 倍,折合每 GPU 小时 38.96 美元;解码吞吐与 DeepSeek 自研引擎 DeepInfer 相差在 6% 以内,证明通用推理引擎可以追平专用引擎。配图还显示 Vera Rubin 峰值工作点达 2.52M tokens/s/GPU、约 102.91 美元/GPU 时,吞吐较 GB300 高 2.64 倍。
「Infra」频道最新
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- H100 到 Rubin 4 年 FLOPS 涨 12 倍,Epoch 新榜 AMD MI455X 反超 GB300 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16