vLLM 揭秘 MiniMax M3.1 Flash 服务栈:NVFP4 稀疏注意力最高提速 1.7 倍
vllm_project · x · 2026-10-19
vLLM 官方发布 MiniMax M3.1 Flash Day-0 支持的技术解读系列,本篇聚焦推理服务栈的两项关键优化:
- 稀疏注意力:MiniMax 块稀疏注意力(MSA)原生使用 NVFP4 注意力与 indexer KV;vLLM 的 Blackwell MSA 内核借助 CUDA 13.4 的 QMUL4 指令,将 NVFP4 KV 直接转换为 FP8,避免了此前经 FP16 的往返开销。内核级实测:indexer QK decode 最高提速 1.7×,稀疏注意力 decode 提速 1.3×。
- NVFP4 MegaMoE:融合了 MXFP8 shared-expert 路径;早前发布的 TMEM 改进在报告场景下将 prefill 内核延迟降低 20%。
配图说明:NVFP4 KV 相比 8-bit 参考将每元素原始字节数减半;提速数据均为 Blackwell 上的内核级测量,并非端到端服务性能。
所属事件:vLLM Day-0 支持 MiniMax M3.1 Flash：长上下文提速 3.3 倍(4 条相关)→
「Infra」频道最新
- 第三方整理 Nebius 客户图谱：303 家公司在用其 AI 云与推理服务 — pdamodaran · 2026-10-19
- 自托管 DeepSeek 推理性价比超过所有云厂商，开源模型企业路线受捧 — bendee983 · 2026-10-19
- 双 RTX 3090 跑 DeepSeek V4.1 Flash 2.61bit:26 tokens/s — whiteh4cker · 2026-10-19
- AI 云大洗牌:数百家 neocloud 仅 7-10 家能活,Nvidia 最受伤 — The Decoder · 2026-10-19
- Wan 2.2 图生视频实测:12GB 显卡只用 8-9GB 显存,内存才是瓶颈 — noise_to_motion · 2026-10-19
- 港中文黄建波新视频：单卡装不下的模型怎么训？讲透 ZeRO 与 FSDP — jbhuang0604 · 2026-10-19