DeepSeek 开源推理框架 DeepInfer：日处理155万亿token，缓存命中96%
赛博禅心 · wechat · 2026-10-20
DeepSeek 开源推理框架 DeepInfer（Apache 2.0）与编解码组件 deepseek-recipe（MIT），即 V4.1 Flash 线上所用推理栈的核心部分。公开的线上数据：单集群日处理 155 万亿 token，平均输入 77K token，缓存命中率 96%，每卡时收入约 38 美元。
文章要点
- 请求流程：deepseek-recipe 将 OpenAI ChatCompletions/Responses 与 Anthropic Messages 三种 API 统一转换，防特殊 token 注入，并支持并行编码与流式返回。
- PD 分离：Prefill 用 8 卡机，Decode 用 64-128 卡超节点，两者卡数约 1:1；缓存存于独立的 100PiB 全闪存 3FS 集群，Agent 流量保留 3 天、聊天 7 天，前缀命中后 Prefill 吞吐从 6 万 token/s 提升至 150 万 token/s（25 倍）。
- SWA 缓存：V4.1 Flash 用 SWA Bounded Replay，未命中只重算最后 128 token 且成本与上下文长度无关，Prefill 总计算量减少近一半。
- 解码加速：自研投机解码 DSpark，先估计猜测接受概率、低者跳过验证，吞吐提升 6%；CPU/GPU 流水重叠。线上每卡每秒生成 14K token，单用户 230 token/s（代码场景 300）。
- 负载均衡：384 个路由专家分到 64 卡、每卡 6 个加 1 个热门副本，动态调整后最高负载卡仅高于均值 9%；请求按输入长度分 4 档调度，整体达到理想均衡的约 80%。
开源版仅支持离线推理（英伟达 SM100 与华为昇腾 950），缓存存储、PD 分离部署与多副本负载均衡因耦合内部设施暂未开源。DeepInfer 基于 vLLM 构建，参考了 SGLang 和 TensorRT-LLM，后续新模型推理代码将持续更新。
所属事件:DeepSeek 开源生产推理框架 DeepInfer(25 条相关)→
「Infra」频道最新
- 推理框架成印钞机：回本周期从 10 个月缩至 4 个月 — oran_ge · 2026-10-20
- DeepSeek 开源推理栈公布，业界关注与 vLLM、Modal 之对比 — finbarrtimbers · 2026-10-20
- COUNT 论文：n-gram 计数放主存，1B 模型等效多 57% 算力 — pmttyji · 2026-10-20
- Agent 云创业公司 Daytona 融资 6000 万美元，估值达 10 亿美元 — jeremyakahn · 2026-10-20
- YC 转发 ObsessionDB：面向 agent 的实时数仓，宣称比 Snowflake 快 100 倍、便宜 20 倍 — ycombinator · 2026-10-20
- Polars 2.0 发布：默认流式引擎让查询提速至 2.8 倍 — KhuyenTran16 · 2026-10-20