从零用 Rust+CUDA 写 DeepSeek 推理引擎,4 卡 B300 跑出 1740 TPS
saranormous · x · 2026-11-14
开发者 saltyph 公开了从零构建的 deepseek v4.1-flash 推理引擎：核心只用 Rust + CUDA，不用 PyTorch、SGLang 或任何 DSL。成绩：4 张 B300 上约 1740 TPS 解码，8 卡 B300 达 2060 TPS，100 万 token 预fill 约 12 秒，代码已开源上 GitHub。saranormous 转发并评论「未来是持续学习的开源推理引擎」。
「Infra」频道最新
- Nina Schick:首个需求不被人类限制的算力周期,智能即算力 — NinaDSchick · 2026-11-14
- MiniMax H3 图像模型 50GB 栈竟能跑进 8GB 显存，57 秒一张 — wreck_of_u · 2026-11-14
- AMD上调指引：明年营收预增超80%，数据中心AI收入翻倍以上 — Beth_Kindig · 2026-11-14
- 2018 年的 Jetson AGX Xavier 跑 Qwen3.8 27B:decode 17 tok/s 的完整折腾记录 — cortexist · 2026-11-14
- 微软宕机 18 小时:99.9% 承诺意味着每月仅 43 分钟 — justin_hart · 2026-11-14
- 爆料称英伟达 45% 芯片卖给 Neo-Cloud 与中国，断供或引发千亿缺口 — SumitGup · 2026-11-14