vLLM Day-0 支持 MiniMax M3.1 Flash,NVFP4 显著提升部署效率

vLLM 官方宣布对 MiniMax M3.1 Flash 的 Day-0 服务支持,涵盖 AMD 加速、DSpark 推测解码与 RL 训练支持。原生 NVFP4 低精度使 checkpoint 从 MXFP8 的 451.5 GB 明显缩减,权重缩小 44.6%,256K 长上下文下并发容量提升 2.7 倍。在 NVIDIA Vera Rubin NVL72 上实现每 GPU 191.5k tok/s 吞吐、单用户解码 724.9 tok/s。评测方面,BabyVision(带工具)91.0 分、CharXiv RQ 82.5 分、HLE 48%、BankerToolBench 76.15。

2026-10-23 ~ 2026-10-23 · 4 条相关

事件全程(共 3 集)→