Baseten 从零造 DeepSeek V4.1-Flash 推理引擎并开源:8xB300 解码 2060 TPS
A_K_Nain · x · 2026-11-14
Baseten 宣布用 Rust 和 CUDA 从零为 DeepSeek V4.1-Flash 构建了一个推理引擎并开源。性能数据:4xB300 约 1740 TPS 解码,8xB300 约 2060 TPS 解码,100 万 token 预填充仅需约 12 秒。评论者认为竞争加剧加上开源对行业是好事。
「Infra」频道最新
- 本地推理玩家看多新款 devkit:预言两年后最佳本地 AI 显卡 — gnukeith · 2026-11-14
- unsloth 量化精度提升是在 256K 上下文测的,换 GGUF 前先重估预算 — petrusenko_max · 2026-11-14
- 在 16GB RX 9070 XT 上跑通 MiniMax H3,作者开源完整配置 — NigaTroubles · 2026-11-14
- 美联航 CEO:Starlink 机上 Wi-Fi 是公司百年最大竞争优势 — Aiden_Tech_Ai · 2026-11-14
- Cloudflare 开源 Kitesurf:不依赖 Chromium 的 agent 专用无头浏览器 — alexcovo_eth · 2026-11-14
- xAI 数据中心建设周期砍半,Memphis 园区一年内算力拟增至 6 倍 — elonmusk · 2026-11-14