DeepSeek 开源 DeepInfer：单集群日处理 155 万亿 token，推理利润率超 80%
Latent Space · rss · 2026-10-21
Latent Space 详细解读 DeepSeek 在 PyTorch Conf 之际开源的生产推理栈 DeepInfer 及其算力经济学。
核心数字
- 单集群日服务 155 万亿 token，输入缓存命中率 96%，平均首 token 延迟 400ms，生成 230 tokens/s（编码场景可达 300）
- 按 API 价格与全成本 $5-8/卡/小时计算，每加速器小时收入 $38，推理利润率超 80%，约 1660 亿美元/GW，81 天收回推理投资
开源边界
- DeepInfer 基于 vLLM 定制（Apache 2.0），支持 NVIDIA 与华为昇腾、投机解码、SWA Bounded Replay、结构化输出；72 小时 prompt 缓存远超 OpenAI 的 12 小时
- 但 KV cache 管理、PD 分离与负载均衡等核心组件未发布，仍与内部基础设施耦合，「完全开源」并不等于可完整复现生产服务
架构要点
- Prefill/Decode 分离，按预估计算量而非请求长度调度；prefill 无需缓存亲和（共享存储池化前缀）；decode 同时平衡请求数与 KV 长度；热门专家做副本复制换吞吐；CPU 异步调度消除空隙
- 披露的 Blackwell 配置中未见张量并行，被解读为源自 V3 时代 H800 互联限制的路径依赖
回应
vLLM 团队确认 DeepInfer 最初主要基于 vLLM，并公布匹配配置下 GB200 解码吞吐与 DeepSeek 公布值相差 6% 以内的复现结果，驳斥「效率不可及」论。Latent Space 同时提醒：这些是第一方生产声明，未经独立审计，利润率结论对缓存计账、硬件成本与工作负载结构敏感。
「Infra」频道最新
- antirez 试用 DHH 赠送的 Omarchy 系统,计划适配大模型 SSD 流式加载 — antirez · 2026-10-21
- 传 NVIDIA 中国订单达 350 亿美元，实际只能交付 5-10% — emmanuelvivier · 2026-10-21
- 传英伟达中国订单达350亿美元，实际供货仅5–10% — emmanuelvivier · 2026-10-21
- willcb 补充:前沿实验室开源大部分生产推理栈确实难得,但今天无重大新技术 — willcb · 2026-10-21
- swyx 回应质疑:供不应求的市场里,token 越多收入越高而非价格越低 — swyx · 2026-10-21
- Qwen3.8-Flash-Next 压到 1.66bpw 仍稳定，完整塞进单张 5090 — Unstable_Llama · 2026-10-21