Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达约 2500 tok/s
推理平台 Baseten 分享了其低延迟优化的最新成果:在 Nvidia Vera Rubin 硬件上部署 DeepSeek v4.1 Flash,采用 batch size 1、TP4 配置,实现每秒约 2500 token 的生成速度,展示了新一代硬件配合优化方案在低延迟推理上的性能上限。
2026-11-17 ~ 2026-11-17 · 2 条相关
- 第 1 集:Baseten 用 Rust+CUDA 从零造 DeepSeek 推理引擎并开源(2026-11-14,2 条)
- 第 2 集:Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达约 2500 tok/s(2026-11-17,2 条)
- Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s — baseten · 2026-11-17
- Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达每秒约 2500 token — baseten · 2026-11-17