DeepSeek 开源生产级推理框架 DeepInfer：单集群日处理 155 万亿 token
dl_weekly · x · 2026-10-26
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，直指推理框架的核心问题——以合理价格服务海量用户。
关键事实
- 单集群每天服务 155 万亿 token，按错峰定价计算收入约每 GPU 小时 38 美元
- 目前仅支持 DeepSeek-V4.1-Flash（默认加载 1017 版本），可运行于 Nvidia Blackwell（SM100）和华为昇腾 910/950，不支持 Hopper 等旧架构
- 投机解码通过 DSpark 实现：草稿模型每次提议 5 个 token，置信头预测主模型会接受哪些，验证算力只花在最可能的候选上，单步校验的草稿 token 减少约 30%，生产负载下吞吐提升 4%7%
- 另一项技术只把每个 prompt 的最后 128 个 token 送回解码器层，几乎将 prefill 总计算量砍半
- 两次运行输出完全一致的两个特性仅在 Nvidia 硬件上可用，公开 benchmark 也全部在 Nvidia 芯片上跑出（为 DeepSeek 自测数据）
所属事件:DeepSeek 开源生产推理引擎 DeepInfer(6 条相关)→
「Infra」频道最新
- 云容量危机已成 AI 架构问题，作者撰文剖析挑战 — DavidLinthicum · 2026-10-26
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26