Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s

baseten · x · 2026-11-17

推理平台 Baseten 分享了在 Nvidia Vera Rubin 上推送 DeepSeek v4.1 Flash 低延迟性能的最新结果:batch size 1、TP4 配置下达到约 2500 tok/s,每步仅 1.9ms,比此前 GB300 的成绩快约 1.5 倍。团队正与 SGLang 项目方(sglproject / radixark)合作将相关优化开源,相关工作已在 SGLang 峰会上由 Tri Dao 与 stel4th 分享。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →