DeepSeek 开源推理框架 DeepInfer：集群日吞吐 155 万亿 tokens
智东西 · wechat · 2026-10-20
DeepSeek 开源了支撑 V4.1 Flash 大规模服务的内部推理框架 DeepInfer 和生产级 token 编解码组件 deepseek-recipe，并发布长篇知乎技术报告。
关键数据：单集群服务吞吐 155 万亿 tokens/天，按谷价计每卡每小时约 $38（约 ¥253.81），一张卡满负荷日收入约 ¥6091。
吞吐优化：节点内 MoE 专家并行增大 batch；Prefill 用 EP28 小并行、Decode 用 EP64128 大并行（Wide-EP）；四类负载均衡器统一代价模型；DSpark 变长验证（ConfidenceHead 按置信度决定验证长度，吞吐 +6%）；异步调度填满 GPU 空档；容错靠多留机器与请求重路由。
KV Cache 成本：目标留存 72 小时以上（agent 3 天、chatbot 7 天 TTL）；Block KV 按 128 token 切块存入独立 3FS 集群（约 100 PiB SSD，读 10 TiB/s），实现任意 prefill 机器命中任意前缀；SWA 只留本机（TTL 180 秒、命中率 98%+），SWABoundedReplay 只重算最近 128 token，使 Decode 侧 prefill 计算量近乎减半。
延迟：编码器/Prefill/Decode 分离部署；分词分段并行且核心路径用 Rust；边生成边返回、工具参数按 DSML 边界直接输出 JSON 片段。支持英伟达与华为昇腾平台。KV Cache 管理与负载均衡组件因与内部基础设施耦合未完整开源。
所属事件:DeepSeek 开源生产推理框架 DeepInfer(25 条相关)→
「Infra」频道最新
- COUNT 论文：n-gram 计数放主存，1B 模型等效多 57% 算力 — pmttyji · 2026-10-20
- Agent 云创业公司 Daytona 融资 6000 万美元，估值达 10 亿美元 — jeremyakahn · 2026-10-20
- YC 转发 ObsessionDB：面向 agent 的实时数仓，宣称比 Snowflake 快 100 倍、便宜 20 倍 — ycombinator · 2026-10-20
- Polars 2.0 发布：默认流式引擎让查询提速至 2.8 倍 — KhuyenTran16 · 2026-10-20
- FlashMask-3 发布:H100 上注意力掩码吞吐提升最多 141% — pmttyji · 2026-10-20
- 北京拟五年投入约3000亿美元建数据中心,成立国有数据公司 — Polymarket · 2026-10-20