Baseten 用 Rust+CUDA 从零造 DeepSeek 推理引擎并开源

Baseten(开发者 saltyph)公开了一个从零构建的 DeepSeek V4.1-Flash 推理引擎并开源,核心仅用 Rust 和 CUDA 实现,不依赖 PyTorch、SGLang 或任何 DSL。性能方面,4 张 B300 显卡可实现约 1740 TPS 的解码速度,8 张 B300 则达到 2060 TPS,展示了精简技术栈也能实现高性能推理。

2026-11-14 ~ 2026-11-14 · 2 条相关

事件全程(共 2 集)→