Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达约 2500 tok/s

推理平台 Baseten 分享了其低延迟优化的最新成果:在 Nvidia Vera Rubin 硬件上部署 DeepSeek v4.1 Flash,采用 batch size 1、TP4 配置,实现每秒约 2500 token 的生成速度,展示了新一代硬件配合优化方案在低延迟推理上的性能上限。

2026-11-17 ~ 2026-11-17 · 2 条相关

事件全程(共 2 集)→