DeepSeek 开源生产级推理框架 DeepInfer

10 月 20 日，DeepSeek 官方宣布将内部高性能推理框架 DeepInfer 完全开源（Apache-2.0 协议），该框架正是驱动 DeepSeek-V4.1-Flash 大规模生产服务的推理栈，官方表示开源旨在帮助社区降低算力成本与能耗、让 AI 更便宜。GitHub 上线当天 star 数从约 1.1k–2k 快速增长至约 4.6k–4.7k，社区反响热烈。

已确认

• DeepInfer 采用 Apache-2.0 协议开源，首个支持模型为 DeepSeek-V4.1-Flash，首批提供离线推理能力，并配套开源 deepseek-recipe 仓库（m1、m8、m9）
• 技术构成包括：高性能算子内核与优化推理引擎、分布式推理与投机解码（speculative decoding）、SWA Bounded Replay 与结构化输出支持（m4）
• 官方公布性能基准：prefill 在 4 块 SM100 GPU 的 scale-up 域内，非缓存输入吞吐最高约 65,536 tokens/s/GPU（batch 65,536）（m7）
• vLLM 作者 woosukk 转发表示致谢并将吸收其改进（m6）
• 官方以「Open models. Open kernels. Open inference.」总结此次开源，无论私有化部署还是公有云，都会持续与社区合作提升大规模推理效率（m3）
• 此前社区已有 gufo、halogen、strixite、Strata 等相关项目，DeepInfer 是官方自研方案的补充（m2）

为什么重要

DeepInfer 是支撑 DeepSeek 自家模型生产服务的真实推理栈，而非纸面项目，其开源让社区可以直接复用经过大规模生产验证的推理优化技术。vLLM 等主流开源项目的关注与吸收意向，也意味着这些优化可能很快惠及更广泛的推理生态。官方明确表示未来 DeepSeek 相关能力会持续开放，配合此前开放的模型与内核，DeepSeek 正在构建完整的开放推理生态，有望进一步压低全行业的大规模推理成本。

2026-10-20 ~ 2026-10-20 · 11 条相关

• 【源头】DeepSeek 开源推理栈 DeepInfer,公开 prefill/decode 吞吐实测数据 — Xianbao_QIAN · 2026-10-20
• DeepSeek 开源生产级推理框架 DeepInfer,Apache-2.0 协议 — jiqizhixin · 2026-10-20
• 【源头】DeepSeek 开源自研推理框架 DeepInfer，支撑 V4.1-Flash 生产级部署 — deepseek_ai · 2026-10-20
• 【源头】DeepInfer 技术细节：高性能内核、分布式推理与投机解码 — deepseek_ai · 2026-10-20
• DeepSeek：开放模型、开放内核、开放推理，将持续共建推理生态 — deepseek_ai · 2026-10-20
• DeepSeek 开源 DeepInfer:自研高性能大规模推理框架 — feelspeaceman · 2026-10-20
• DeepSeek 开源自研推理框架 DeepInfer,vLLM 官方致谢并将吸收其改进 — woosuk_k · 2026-10-20

另有 4 条近重复转述:zhyncs42 · MaziyarPanahi · mitsuhiko · aigclink