vLLM 在 Vera Rubin NVL72 上跑 DeepSeek-V4.1-Flash：同交互性下吞吐达 GB300 的 58 倍
vLLM Blog · rss · 2026-11-12
vLLM 博客报告：在单台 NVIDIA Vera Rubin NVL72 机架上，vLLM 服务 DeepSeek-V4.1-Flash 跑 SemiAnalysis AgentX 基准，单 GPU 吞吐达 170 万 tokens/s，同时保持每用户 P90 387 tokens/s 的交互性；在相同交互性下吞吐是 GB300 NVL72 的 58 倍。
这组数字展示了新一代 Rubin 机架级架构在 agent 式推理负载上的吞吐-延迟平衡能力，也说明 vLLM 已完成对 Vera Rubin 的适配优化。
「Infra」频道最新
- Batch API 省钱账：50% 折扣要乘以可等待流量占比，且应排在选模型和缓存之后 — arpit_bhayani · 2026-11-13
- RTX Pro 6000 跑通义模型时暴毙,楼主戏称 GPU「心碎而亡」 — wine_dark · 2026-11-13
- 单张 RTX 5090 跑 256 并发请求，Parallax 推理吞吐达 1.8 万 token/秒 — markjeffrey · 2026-11-13
- 谷歌扩容 TPU v8 阵容:8tx 延迟减半,8i Max 同机架硅量翻倍 — Beth_Kindig · 2026-11-13
- Horace He 将在 SGLang Summit 分享两个推理系统思维模型 — cHHillee · 2026-11-13
- 二手 A100 价格再跌 20-30%,卖家赶在崩盘前清库存 — Bascilian · 2026-11-13