Baseten 从零造 DeepSeek V4.1-Flash 推理引擎并开源:8xB300 解码 2060 TPS

A_K_Nain · x · 2026-11-14

Baseten 宣布用 Rust 和 CUDA 从零为 DeepSeek V4.1-Flash 构建了一个推理引擎并开源。性能数据:4xB300 约 1740 TPS 解码,8xB300 约 2060 TPS 解码,100 万 token 预填充仅需约 12 秒。评论者认为竞争加剧加上开源对行业是好事。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →