Baseten 用 Rust+CUDA 从零造 DeepSeek 推理引擎并开源
Baseten(开发者 saltyph)公开了一个从零构建的 DeepSeek V4.1-Flash 推理引擎并开源,核心仅用 Rust 和 CUDA 实现,不依赖 PyTorch、SGLang 或任何 DSL。性能方面,4 张 B300 显卡可实现约 1740 TPS 的解码速度,8 张 B300 则达到 2060 TPS,展示了精简技术栈也能实现高性能推理。
2026-11-14 ~ 2026-11-14 · 2 条相关
- 第 1 集:Baseten 用 Rust+CUDA 从零造 DeepSeek 推理引擎并开源(2026-11-14,2 条)
- 第 2 集:Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达约 2500 tok/s(2026-11-17,2 条)
- 从零用 Rust+CUDA 写 DeepSeek 推理引擎,4 卡 B300 跑出 1740 TPS — saranormous · 2026-11-14
- Baseten 从零造 DeepSeek V4.1-Flash 推理引擎并开源:8xB300 解码 2060 TPS — A_K_Nain · 2026-11-14