DeepInfer 实测用 64 块 SM100 跑 decode，完整服务还缺这些

AIFlow_ML · x · 2026-10-21

AIFlow 梳理 DeepInfer 仓库的现状：已包含 kernels 与调度器、DSpark 投机解码、SWA bounded replay、batch-invariant 推理，以及与 DeepSeek API 对齐的 deepseek-recipe；尚未包含 KV cache 系统、prefill/decode 分离、多副本负载均衡、OpenAI 兼容 server 和多模型支持。基准测试是在 4 块 SM100 GPU 上跑 prefill、64 块跑 decode，还支持华为昇腾 950，但暂无独立测试数据。作者预计这些思路会先进入 vLLM 和 SGLang。作者特别看好 batch-invariant inference：同一 batch 里其他请求不影响你的输出，对调试 agent 非常有用。