DeepSeek 开源 DeepInfer：V4.1 Flash 日吞吐 155 万亿 token 背后的推理系统
teortaxesTex · x · 2026-10-20
DeepSeek 在知乎发布工程长文，公开支撑 V4.1 Flash 大规模服务的开源推理框架 DeepInfer，同时支持 NVIDIA 与华为昇腾硬件。
关键线上数据
- 单集群日服务吞吐 155 万亿 token
- 输入缓存命中率 96%，prefill 每卡吞吐含缓存命中达 1.5M tps
- 首字时延（TTFT）平均 400ms，P99 约 1000ms
- 生成速度 230 token/s，代码场景可达 300 token/s
- KVCache 不活跃后保留 72 小时；P:D 部署接近 1:1，按谷价平均每卡每小时收入约 38 美元
架构要点：视觉编码、prefill、decode 三阶段分离部署、按负载独立扩缩——prefill 用标准 8 卡服务器，decode 用 64–128 卡超节点做宽专家并行；阶段间通过外部 KVCache 存储传递缓存，并配专门的负载均衡器（Vision Encoder / Prefill / Decode / Expert-Parallel）平衡实际工作量。文章还给出 prefill 吞吐-时延曲线（EP4DP4、384+32 专家、131K 上下文），显示 batch 增大后吞吐趋平。
所属事件:DeepSeek 开源生产推理框架 DeepInfer(25 条相关)→
「Infra」频道最新
- COUNT 论文：n-gram 计数放主存，1B 模型等效多 57% 算力 — pmttyji · 2026-10-20
- Agent 云创业公司 Daytona 融资 6000 万美元，估值达 10 亿美元 — jeremyakahn · 2026-10-20
- YC 转发 ObsessionDB：面向 agent 的实时数仓，宣称比 Snowflake 快 100 倍、便宜 20 倍 — ycombinator · 2026-10-20
- Polars 2.0 发布：默认流式引擎让查询提速至 2.8 倍 — KhuyenTran16 · 2026-10-20
- FlashMask-3 发布:H100 上注意力掩码吞吐提升最多 141% — pmttyji · 2026-10-20
- 北京拟五年投入约3000亿美元建数据中心,成立国有数据公司 — Polymarket · 2026-10-20