DeepSeek 开源生产级推理框架 DeepInfer,Apache-2.0 协议
jiqizhixin · x · 2026-10-20
DeepSeek 开源了支撑其大规模生产服务的高性能推理框架 DeepInfer,采用 Apache-2.0 协议,发布即收获 1.1k stars。
当前支持模型为 DeepSeek-V4.1-Flash,提供离线推理所需的规模化服务核心能力,主要特性包括:
- 优化 kernel、模型与采样器运行时
- 并行策略:Attention DP / 均衡 CP、MoE EP + EPLB
- DSpark 与置信度调度验证(confidence-scheduled verification)
- SWA bounded replay
- 异步调度(零开销 batch scheduler)
- 批次不变推理与确定性采样
- 结构化输出
仓库同时提供 NVIDIA 与华为昇腾(Ascend)的依赖配置,已包含 eval、examples、tests 等完整工程目录。这是 DeepSeek 内部生产推理栈首次以开源形式放出。
所属事件:DeepSeek 开源自研推理框架 DeepInfer(21 条相关)→
「Infra」频道最新
- 单卡 RTX 3060 12GB 跑通 MiniMax H3 视频生成，928p 仅 23 分钟 — Ok-Inevitable8391 · 2026-10-20
- 字节阿里腾讯向 Nvidia 下单超 350 亿美元，供不应求难保交付 — pstAsiatech · 2026-10-20
- DeepSeek-V4.1-Flash 登顶 Agent Arena 开源第一，总榜第 11 — vista8 · 2026-10-20
- vLLM 热度不减：94,235 星的 LLM 高吞吐推理引擎再增 98 星 — vllm-project · 2026-10-20
- 从零预训练 GPT-2 124M：24.8 亿 tokens、4 张 A40 完整复盘 — upulbandara · 2026-10-20
- 新推理引擎 Whale 号称碾压 vLLM 与 SGLang — EAccelerate_42 · 2026-10-20