DeepSeek 开源生产级推理引擎 DeepInfer,8 小时狂揽 6.3K 星
rohanpaul_ai · x · 2026-10-20
DeepSeek 以 Apache 2.0 协议开源了支撑其生产服务的推理引擎 DeepInfer,8 小时内 GitHub 星数突破 6.3K。
- 支持范围:仅支持 DeepSeek-V4.1-Flash,硬件限定 NVIDIA SM100 GPU 与华为昇腾 950 NPU
- 定位:只提供离线推理的「速度层」,不含完整服务栈——KV cache 系统、Prefill/Decode 分离、跨副本负载均衡均未包含
- 核心技术:DSpark 投机解码可提前草拟 5 个 token 并按置信度调度验证;SWA bounded replay 只重算覆盖滑动窗口的 140 token 后缀以削减 prefill;另有零开销异步批调度、batch 无关推理、确定性采样、结构化输出等
- 配套:deepseek-recipe 库可将 Chat Completions/Responses/Messages 请求转换为与官方 API 行为一致的 DeepSeek V4/V4.1 prompt
所属事件:DeepSeek 开源生产推理框架 DeepInfer(25 条相关)→
「Infra」频道最新
- DeepSeek 开源推理栈公布，业界关注与 vLLM、Modal 之对比 — finbarrtimbers · 2026-10-20
- COUNT 论文：n-gram 计数放主存，1B 模型等效多 57% 算力 — pmttyji · 2026-10-20
- Agent 云创业公司 Daytona 融资 6000 万美元，估值达 10 亿美元 — jeremyakahn · 2026-10-20
- YC 转发 ObsessionDB：面向 agent 的实时数仓，宣称比 Snowflake 快 100 倍、便宜 20 倍 — ycombinator · 2026-10-20
- Polars 2.0 发布：默认流式引擎让查询提速至 2.8 倍 — KhuyenTran16 · 2026-10-20
- FlashMask-3 发布:H100 上注意力掩码吞吐提升最多 141% — pmttyji · 2026-10-20