Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达每秒约 2500 token

baseten · x · 2026-11-17

Baseten 分享了其低延迟优化最新成果:DeepSeek v4.1 Flash 在 Vera Rubin 上达到约 2500 tok/s(batch size 1、TP4、每步 1.9ms),比其此前 GB300 成绩最高快 1.7 倍。团队正与 SGLang(sglproject)和 radixark 合作将相关优化开源,Tri Dao 等人已在 SGLang 峰会上分享了这些结果。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →