DeepSeek 4.1 Flash 单节点跑出 60 万 tokens/s，vLLM 大胜 DeepInfer
kbesplv · reddit · 2026-10-21
warmctl 发布了在单节点 8×B300 上部署 DeepSeek 4.1 Flash（FP4 experts，DEP8/DSpark/Engram 配置）的推理基准对比。
关键数据：
- 总吞吐突破 600K tokens/s
- 输出速度（1K→1K）：vLLM 55K tok/s，DeepInfer 仅 27.9K
- 32K 提示词 prefill：vLLM 590K tok/s，DeepInfer 65K
- 冷启动到可服务需 930 秒，warmctl 热启动仅 88 秒（15 分钟缩到 1 分半）
结论是在 B300 单机上 vLLM 路线全面占优，热启动方案显著改善部署体验。
「Infra」频道最新
- NVIDIA 转向本地 AI 叙事：DGX Spark 可八机集群共享 1TB 内存 — ryanshrout · 2026-10-21
- Agent 沙箱公司 Daytona 宣布 B 轮融资：定位「agent 执行层」，Meta 曾用其跑 Llama 后训练 — mattturck · 2026-10-21
- Anthropic 联创：token 降价千倍需求也只会涨千倍 — gabriel1 · 2026-10-21
- 中国对美出口 1730 台单晶炉,SemiAnalysis 拆解马斯克 20GW 电力计划 — rickasaurus · 2026-10-21
- 黄仁勋柏林 GTC 推即插即用数据中心 DSX Pod,瞄准欧洲 AI 算力短板 — Wired AI · 2026-10-21
- Google Cloud 一个入口同时提供 OpenAI、Anthropic、Google 三家旗舰模型并支持热切换 — rseroter · 2026-10-21