vLLM 详解 M3.1 Flash 部署：NVFP4 令权重缩 44.6%，并发容量升 2.7 倍
vllm_project · x · 2026-10-23
vLLM 发布 MiniMax M3.1 Flash 的服务栈技术细节（4/5）：
- 原生 NVFP4 低精度：checkpoint 从 MXFP8 的 451.5 GB 降至 250.1 GB（小 44.6%），每 token KV 内存较 FP8 减少 43.75%
- 并发容量：4× B300、256K 上下文、DEP4 下可容纳 76 个并发序列，是 M3（28 个）的约 2.7 倍
- Blackwell 内核优化：CUDA 13.4 的 QMUL4 将 NVFP4 KV 直接转 FP8，indexer QK 解码提速最高 1.7×，稀疏注意力解码提速 1.3×
- NVFP4 MegaMoE：融合 MXFP8 共享专家并提前释放 TMEM，prefill 内核延迟降低 20%；Indexer DCP 在 512K 上下文 4× GB300 上达每层 3.3× 加速；融合 QKV/norm/RoPE/KV 插入使 TP4 下 p50 TTFT 降低约 19%
所属事件:vLLM Day-0 支持 MiniMax M3.1 Flash，NVFP4 显著提升部署效率(4 条相关)→
「Infra」频道最新
- EPFL 薄膜钽酸锂 WDM 调制器芯片发布，业内人士泼冷水：难进 CPO — jwt0625 · 2026-10-24
- ai& 深度实测:MiniMax H3 在三种芯片上提速 12 倍,成本大降 — DavidBennett__ · 2026-10-24
- 实测 NVIDIA Spark 本地跑分：散热架可显著减少热节流 — draginol · 2026-10-24
- Cloudy 用 Claude Code 自主调内核,gpt-oss-20b 解码提速 15% 跑赢 vLLM — saurabhtwq · 2026-10-24
- Chamath：美国大行砍 AWS/GCP 支出，自建六座独立数据中心 — SumitGup · 2026-10-24
- OpenRouter 幻灯片曝光：token 用量暴涨，混合均价同步骤降 — aniketmaurya · 2026-10-24