vLLM 实测:MiniMax-M3.1-Flash 在 Rubin NVL72 吞吐达 GB300 的 10.2 倍
vllm_project · x · 2026-11-12
vLLM 团队公布在 NVIDIA Vera Rubin NVL72 上继续优化 MiniMax-M3.1-Flash 的推理成绩,数据来自 SemiAnalysis AgentX 基准(开启 KV offload):
- 在 546 P90 tok/s/user 的交互水平下,单芯片总吞吐(含缓存命中)达 GB300 NVL72 的 10.2 倍
- 在 376 P90 tok/s/user 下为 6.5 倍
- 低并发时单用户 P90 速度最高可达 1205 tok/s
配图为 SemiAnalysis InferenceX 的吞吐-交互性曲线,显示 Rubin(Dynamo vLLM)在全区间明显优于 GB300。这批数据是新一代 Rubin 平台相对上代 GB300 的首批公开推理对比之一。
所属事件:vLLM 实测：Rubin NVL72 推理吞吐达 GB300 的 10.2 倍(2 条相关)→
「Infra」频道最新
- celld 演示：只用对象存储桶自托管 Workers、Durable Objects 和队列 — irvinebroque · 2026-11-12
- Azar 自省：芯片扩散战略过于透明，中国模型正转向华为 — beffjezos · 2026-11-12
- 24GB 内存老工作站也能跑 Agent：Pi Agent + Bonsai 2 9B 实测 — Potential_Block4598 · 2026-11-12
- DigitalOcean 实测:+4% 推理提速只是运行噪声 — AI Engineer · 2026-11-12
- 网友自组 AMD CPU + 华为昇腾 950PR 混合推理主机 — AIFlow_ML · 2026-11-12
- Meta Llama3 训练 419 次中断中 6 次源于静默数据损坏,AWS 给出三重检测法 — AWS ML Blog · 2026-11-12