DeepSeek 开源 DeepInfer 推理框架，被指缺 KV 缓存与负载均衡
DeepSeek 开源了 DeepInfer 推理框架，引发社区讨论。有评论指出该发布在大规模部署前还缺少 KV 缓存与负载均衡等三大关键组件，属「少数客观的批评」之一；但只要拥有 3-4K 台 GB200，就能复现其宣称的吞吐。另有开发者梳理仓库现状，称已包含 kernels 与调度器、DSpark 投机解码、SWA bounded replay、batch-invariance 等能力，并实测用 64 块 SM100 跑 decode，但完整服务仍有缺口。
2026-10-21 ~ 2026-10-21 · 2 条相关
- 第 1 集:DeepSeek 开源生产推理框架 DeepInfer 并公开运营数据(2026-10-20,51 条)
- 第 2 集:爆料称 DeepSeek ARR 达 10 亿美元，极少量 GPU 即可支撑(2026-10-20,5 条)
- 第 3 集:DeepSeek披露推理集群收入：单集群日吞155万亿token，每卡时38美元(2026-10-21,8 条)
- 第 4 集:DeepSeek 披露 V4.1 Flash 推理部署实践：无黑魔法，效率来自工程组合(2026-10-21,2 条)
- 第 5 集:DeepSeek 开源 DeepInfer 推理框架，被指缺 KV 缓存与负载均衡(2026-10-21,2 条)
- 第 6 集:swyx 与 willcb 激辩 DeepInfer：推理栈开源是突破还是常规进展(2026-10-21,3 条)
- DeepInfer 缺 KV 缓存与负载均衡，但有 3-4K 台 GB200 就能复现吞吐 — teortaxesTex · 2026-10-21
- DeepInfer 实测用 64 块 SM100 跑 decode，完整服务还缺这些 — AIFlow_ML · 2026-10-21