Baseten 将 DeepSeek V4.1 Flash 推至 Vera Rubin 上约 2500 tok/s,提速 1.7 倍

ying11231 · x · 2026-11-17

Baseten 公布 DeepSeek V4.1 Flash 低延迟推理优化结果:在 Vera Rubin 上、batch size 1、TP4 配置下达到约 2,500 tok/s,单步仅 1.9ms,比此前 GB300 的成绩快至 1.7 倍。团队正与 SGLang 项目及 radixark 合作,将这些低延迟优化合入开源的 SGLang,让社区受益。相关细节已由 Tri Dao 等人在上周 SGLang summit 上分享。

所属事件:Baseten 在 Vera Rubin 上将 DeepSeek Flash 推至 2500 tok/s(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →