专题 · FULL STORY
Baseten 自研 DeepSeek 推理引擎并冲击新硬件
Baseten 开发者用 Rust 与 CUDA 从零打造 DeepSeek V4.1-Flash 推理引擎并开源,随后在英伟达 Vera Rubin 硬件上部署同款模型,达成约 2500 tok/s 的低延迟表现,展示自研栈的持续演进。
2026-11-14 ~ 2026-11-17 · 2 集 · 4 条
第 1 集 · Baseten 用 Rust+CUDA 从零造 DeepSeek 推理引擎并开源(2026-11-14,2 条)
Baseten(开发者 saltyph)公开了一个从零构建的 DeepSeek V4.1-Flash 推理引擎并开源,核心仅用 Rust 和 CUDA 实现,不依赖 PyTorch、SGLang 或任何 DSL。性能方面,4 张 B300 显卡可实现约 1740 TPS 的解码速度,8 张 B300 则达到 2060 TPS,展示了精简技术栈也能实现高性能推理。
- 从零用 Rust+CUDA 写 DeepSeek 推理引擎,4 卡 B300 跑出 1740 TPS — saranormous · 2026-11-14
- Baseten 从零造 DeepSeek V4.1-Flash 推理引擎并开源:8xB300 解码 2060 TPS — A_K_Nain · 2026-11-14
第 2 集 · Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达约 2500 tok/s(2026-11-17,2 条)
推理平台 Baseten 分享了其低延迟优化的最新成果:在 Nvidia Vera Rubin 硬件上部署 DeepSeek v4.1 Flash,采用 batch size 1、TP4 配置,实现每秒约 2500 token 的生成速度,展示了新一代硬件配合优化方案在低延迟推理上的性能上限。
- Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s — baseten · 2026-11-17
- Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达每秒约 2500 token — baseten · 2026-11-17