DeepInfer 缺 KV 缓存与负载均衡，但有 3-4K 台 GB200 就能复现吞吐
teortaxesTex · x · 2026-10-21
teortaxesTex 评价 DeepSeek 开源的 DeepInfer 推理框架，认为这是「少数客观的批评」之一：引用 @Halex623 指出该发布在大规模部署前缺少三大关键组件——
- KV Caching 未实现：这对推理服务几乎是硬伤；虽有 3FS 卸载方案，但需要自行搭建分布式文件系统才能用。
- 负载均衡缺失：需要自备路由栈（如 NVIDIA Dynamo 或 SMG）。
- PD 分离机制空白：传输逻辑完全没做，而这部分网络软件在异构网络栈的跨集群场景下极难做对。
作者同时补充：官方确实提供了 3FS，且没有针对异构环境优化，Dynamo 或许能顶上负载均衡。结论是：如果你有 3-4 千张 GB200，可以大致复现 DeepSeek 官方报告的服务吞吐量。
「Infra」频道最新
- TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- Modal 团队用自研 Sticky Sessions 复活经典网页游戏 Curvytron — charles_irl · 2026-10-21
- Seroter 每日阅读：TorchTPU 开源、Claude Code 团队的代码评审实践 — rseroter · 2026-10-21
- NVIDIA 低调开源本地推理服务器 Flare，为 Blackwell 工作站打造 — AIFlow_ML · 2026-10-21
- 数据中心债务被重打包卖给养老金，被指神似次贷泡沫 — SumitGup · 2026-10-21
- Isoquant 推理优化基准：Gemini 4 Argon 以 4.38 倍加速登顶 — ycombinator · 2026-10-21