DeepSeek 开源推理框架 DeepInfer，单集群日吞 155 万亿 token
dotey · x · 2026-10-21
DeepSeek 官宣开源自研推理框架 DeepInfer，正是驱动 DeepSeek-V4.1-Flash 大规模服务的生产栈，目标是帮社区降算力成本与能耗。
据 swyx 转述 DeepSeek 知乎文章的细节：该服务单集群吞吐达 155 万亿 token/天，按错峰价格计算每卡每小时收入 38 美元；而 GPU 成本约 5–10 美元/卡/小时，意味着 DeepSeek 宣称的推理服务毛利率约 80%。swyx 对这一利润率表示惊讶。
配图显示知乎文章还披露了部署架构：兼容多厂商芯片、用 8 卡机做 Prefill、64–128 卡超节点做 Decode、KVCache 保留 72 小时以上以减少重复 Prefill 计算。
所属事件:DeepSeek 开源自研推理框架 DeepInfer 及 deepseek-recipe(40 条相关)→
「Infra」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21