vLLM 联手 MiniMax：512K 上下文服务提速 3.3 倍，TTFT 再降 19%
vllm_project · x · 2026-10-19
vLLM 官方公布了与 MiniMax、Inferact 合作针对 MiniMax M3.1-Flash 的推理服务优化，核心是把长上下文服务与投机解码联合优化：
- Indexer DCP：将上下文分区到多 GPU，通过 NVLink 交换各卡本地 top-16 候选，在 4× GB300、512K 上下文下索引器每层执行最快提升 3.3×。
- 算子融合：QKV 投影、norm、RoPE 与 KV 插入融合，省掉一次 HBM 往返，GB300 TP4 下 p50 TTFT 降低约 19%。
- DSPark 投机解码：draft attention 采用 FlashInfer PrimiTS，比 FlashAttention 4 快 1.3–2×，整体前向时间再降约 5%。
配套上下文：Blackwell MSA kernel 利用 CUDA 13.4 的 QMUL4 指令把 NVFP4 KV 直接转 FP8，避免 FP16 往返，kernel 级索引器 QK 解码快 1.7×、稀疏注意力解码快 1.3×。官方强调以上为独立测量，收益不可叠加。已提供 CUDA 与 ROCm 两版 Docker 镜像。
所属事件:MiniMax 发布 M3.1 Flash：Space Bunny 揭晓，$0.15 定价 10 月 23 日开源(16 条相关)→
「Infra」频道最新
- 思科联手 NVIDIA 推 USFP 光模块规划:同尺寸带宽密度 4 倍 — shashib · 2026-10-19
- 投资人预言:2027 年超大规模厂商 Capex 将全面转向自研芯片 — pdamodaran · 2026-10-19
- CRWV 占 NVDA GPU 销售约 8%,类比思科循环交易警示泡沫 — churchkey · 2026-10-19
- Meta 曝 Prometheus 超集群细节:百公里互联,目标百万 GPU 单机运行 — ryanshrout · 2026-10-19
- 高盛上调 CoreWeave 至买入，看多每兆瓦回报上行 — churchkey · 2026-10-19
- DeepSeek-V4.1-Flash 压缩到 3-bit,三张 RTX PRO 6000 可跑,KLD 仅 0.066 — TheZachMueller · 2026-10-19