vLLM 专用解码路径实测：四张 B300 单用户延迟快 26%
vllm_project · x · 2026-10-21
vLLM 团队补充数据显示，除了高吞吐，其专用解码路径在低延迟场景同样占优：在真实 AgentX 会话中，四张 B300 GPU 上单用户 P90 TPS 达 829，比 GB300 标准解码路径快 26%。另一组数据解释了 $39/GPU/时的构成：在 P90 196 TPS 的单用户 SLA 下，vLLM 每 GPU 交付 95.4 万 tokens/s（含缓存输入、输入与输出）。
所属事件:vLLM 复现 DeepSeek 推理性能，低延迟场景领先(4 条相关)→
「Infra」频道最新
- 曝字节阿里腾讯向英伟达下单超 350 亿美元芯片,含 300 万块 RTX Pro — Ok_Warning2146 · 2026-10-21
- DeepSeek 据称在华为昇腾 950 上实现超高效大规模推理 — teortaxesTex · 2026-10-21
- 路透独家：字节、阿里、腾讯向英伟达下单超 350 亿美元芯片 — Scobleizer · 2026-10-21
- DeepSeek 曝单集群日处理 155 万亿 token,毛利约 82% — ssh4net · 2026-10-21
- M1 Max 64GB 跑本地 32B-120B 模型：吐槽 LM Studio 报错与选型难 — Food4Lessy · 2026-10-21
- vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元 — vllm_project · 2026-10-21