vLLM Day-0 支持 MiniMax M3.1 Flash：NVFP4 令 256K 上下文并发容量翻 2.7 倍
vllm_project · x · 2026-10-23
vLLM 官方宣布对 MiniMax M3.1 Flash 的 Day-0 服务支持，带来 AMD 加速、DSpark 推测解码与 RL 训练支持。
关键数据：- 原生 NVFP4：checkpoint 从 MXFP8 的 451.5GB 降至 250.1GB（小 44.6%），每 token KV 内存较 FP8 省 43.75%；256K 上下文、4×B300 上并发序列从 M3 的 28 提升到 76，约 2.7 倍容量；- AMD：MI350X TP4 下 mono decode 最快 2.3 倍，低并发吞吐翻倍；- DSpark：FlashInfer PrimiTS draft attention 在实测配置下比 FlashAttention 4 快 1.3–2 倍；长上下文 indexer 提升最高 3.3 倍，p50 TTFT 降低约 19%；- RL：veRL + FSDP2 + LoRA Day-0 支持，可直接对 NVFP4 checkpoint 训练 adapter。
CUDA 13.4 推荐，完整命令与 recipe 已公开。
所属事件:vLLM Day-0 支持 MiniMax M3.1 Flash，NVFP4 显著提升部署效率(4 条相关)→
「Infra」频道最新
- DeepSeek 4.1 Flash 上 DGX Station 实测：本地跑出约 80 tokens/秒 — MatthewBerman · 2026-10-23
- MiniMax M3.1 Flash 上线 Modular Cloud，开源模型协作自动化最强 — MiniMax_AI · 2026-10-23
- NVIDIA HGX Rubin NVL8 亮相 GTC 柏林：单价 120 万美元，能效比 B200 高 10 倍 — thursdai_pod · 2026-10-23
- 亚马逊放弃弗吉尼亚 122 英亩园区四座数据中心建设计划 — GaryMarcus · 2026-10-23
- 平台成粮仓，API key 成战利品：Railway、Fireworks、LiteLLM 月内接连被掠 — ccerrato147 · 2026-10-23
- Koi 论文：自校准规划器提升异构推理集群 goodput 18%、省 20% 成本 — burny_tech · 2026-10-23