DeepSeek 黑well 生产推理不用张量并行：Prefill EP2-8、Decode Wide-EP 64-128
nrehiew_ · x · 2026-10-20
nrehiew 观察到，即便已经用上 Blackwell(推测配标准 NVL72 互联)，DeepSeek 生产推理仍不使用任何张量并行(TP)——这一风格可追溯至 v3 时期在互联受限的 H800 上的部署选择。
配图为 DeepSeek 自述的并行策略：
- Prefill: EP2–8 / DP2–8，用 HBM 允许的最小 EP/DP
- Decode: EP64–128 / DP64–128（Wide-EP），用现有 GPU 允许的最大 EP/DP
- VE：单 GPU 每实例通常够用，推荐更便宜的 GPU
- TP 与 CP 目前不用
作者指出 vLLM 和 SGLang 的默认配方都推荐 TP，DeepSeek 的选择反其道而行。这基本确认 DeepSeek 正用 NVIDIA Blackwell/NVL72 做部分生产推理。
「Infra」频道最新
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：端到端响应快至 50ms 内 — JosephJacks_ · 2026-10-23
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋拆解 NVIDIA Vera Rubin 智能体系统四大组件 — rohanpaul_ai · 2026-10-23