M3.1 Flash 在 Vera Rubin NVL72 上跑出每 GPU 191.5k tok/s 吞吐

vllm_project · x · 2026-10-23

vLLM 公布 MiniMax M3.1 Flash 在 NVIDIA Vera Rubin NVL72 上的 day-0 服务性能(2/5):单用户解码 724.9 tok/s,单 GPU 吞吐 191.5k tok/s。评测方面,Agents' Last Exam(ALE)29.6 分,AutomationBench-AA 72.5% 在其发布对比中领先开源模型,DeepSWE 73.67%,覆盖真实代码库理解、bug 修复与功能开发。模型面向需要规划、使用工具并完成整个任务的工作流。

所属事件:vLLM Day-0 支持 MiniMax M3.1 Flash,NVFP4 显著提升部署效率(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →