DeepSeek 开源推理引擎 DeepInfer：单集群日服务 155 万亿 token
Prompt Engineering · youtube · 2026-10-21
Prompt Engineering 频道视频拆解了 DeepSeek 开源的推理引擎 DeepInfer 及其部署长文——单个集群每天服务 155 万亿 token，支撑 DeepSeek V4.1 Flash 的 API。视频跟随一个请求走完整条链路：
- tokenization 与 prompt injection 防护（deepseek-recipe）
- KV 缓存保留数天：96% 的输入 token 命中缓存
- Prefill 与 decode 分离部署在不同机器，MoE 专家并行跨 64+ GPU
- DSpark 投机解码与 batch-invariant 推理
作者还在自己的 Mac 上实测了 deepseek-recipe 和温度 0 下的批处理效应，并解释了为什么 DeepInfer 无法在 DGX Spark 上运行。相关资源：DeepInfer 与 deepseek-recipe 均已开源在 GitHub，V4.1 Flash 1017 权重上架 Hugging Face，部署长文有知乎原文和 Latent Space 英文翻译。
所属事件:DeepSeek 开源生产推理框架 DeepInfer 并罕见披露营收数据(55 条相关)→
「Infra」频道最新
- 美光 webinar：押注 bit 增长而非历史周期 — BenBajarin · 2026-10-21
- 摩根大通将 SpaceX 目标价翻倍至 500 美元，月增 20 万块 GPU — mitchdeg · 2026-10-21
- TorchTPU 打通 Hugging Face 生态：Transformers 原生跑 TPU — rseroter · 2026-10-21
- CoreWeave 推 Physical AI Launchables：一条命令跑机器人仿真环境 — ayushthakur0 · 2026-10-21
- NVIDIA 再度狂扫 ABF 载板产能，分析师称其为 AI 周期经济赢家 — BenBajarin · 2026-10-21
- php2shell 波及近七成网站,Cloudflare 提前 9 小时部署 WAF 防护 — Cloudflare Blog · 2026-10-21