vLLM 首日支持 MiniMax-M3.1-Flash,Rubin NVL72 吞吐提升 10.2 倍
vllm_project · x · 2026-11-12
vLLM 团队宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持，覆盖 NVIDIA Blackwell、Rubin(SM107)与 AMD MI350 系列 GPU。
模型与推理特性
- MiniMax-M3.1-Flash 是 M3 家族最新款，强化推理、编码、智能体与视觉能力
- 原生 NVFP4 KV cache(indexer 与注意力路径均量化)、NVFP4 量化 MoE 权重、DSpark 草稿模型投机解码
Blackwell 优化
- MSA 稀疏注意力内核用上 CUDA 13.4 的 QMUL4 指令，在内核内将 NVFP4 反量化为 FP8:indexer QK decode 最高提速 1.7 倍，稀疏注意力 decode 提速 1.3 倍
- NVFP4 MegaMoE 融合 MXFP8 共享专家与提前 TMEM 释放:prefill 内核延迟降 20%,吞吐升 7%
- Indexer decode 上下文并行(DCP):4×GB300、512K 上下文下每稀疏层 indexer 提速至 3.3 倍
- QKV GEMM+norm+RoPE+KV 插入融合:512+ token prefill 提速 1.1–1.6 倍，TP4 下 P50 TTFT 降约 19%
- DSpark drafter 采用 FlashInfer PrimiTS 后端，比 FlashAttention 4 快 1.3–2 倍
Rubin 与 AMD
- Rubin 内核已集成 vLLM;在 SemiAnalysis AgentX 基准上，Rubin NVL72 对比 GB300 NVL72:含缓存的总 tok/s/chip 提升 10.2 倍(546 P90 tok/s/user),376 P90 下提升 6.5 倍，低并发时单用户最高 1,205 P90 tok/s
- AMD MI350 系列:NVFP4 原生 MSA 内核 + DCP + dual-batch overlap + mono kernel,整体 2–3 倍提速
「Infra」频道最新
- 工具调用成本差异悬殊:Qwen3.8 Max 带工具贵 28 倍,Fable 贵 5.8 倍 — ArtificialAnlys · 2026-11-12
- 网友自组 AMD CPU + 华为昇腾 950PR 混合推理主机 — AIFlow_ML · 2026-11-12
- Meta Llama3 训练 419 次中断中 6 次源于静默数据损坏,AWS 给出三重检测法 — AWS ML Blog · 2026-11-12
- 黄仁勋去职不是大事，AI四层单点故障才是真隐患 — krishnan · 2026-11-12
- 研究：数据中心仅占美国家庭电价涨幅 4%，参议员仍呼吁全国禁建 — Eliv_nurotic · 2026-11-12
- vLLM 实测:MiniMax-M3.1-Flash 在 Rubin NVL72 吞吐达 GB300 的 10.2 倍 — vllm_project · 2026-11-12