vLLM 优化 Rubin：DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍

vLLM 团队发布博客，介绍在 NVIDIA Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash 的推理优化：在 SemiAnalysis AgentX 基准上单 GPU 吞吐达 1.7M tokens/s，为 GB300 的 58 倍。为实现高并发，团队将整个机架的内存池化为共享 KV 缓存池（采用 Mooncake 方案），在活跃前缀超出任何单 rank 缓存容量的情况下，高并发命中率仍达 96.5-97%。

2026-11-13 ~ 2026-11-13 · 4 条相关

• vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍 — vllm_project · 2026-11-13
• vLLM 机架级共享 KV 池：高并发下命中率仍达 96.5-97% — vllm_project · 2026-11-13

另有 2 条近重复转述:vllm_project · vllm_project