DeepSeek 推理基准受赞:控制变量+roofline 曲线,业内称应成行业范式

teortaxesTex · x · 2026-10-22

ekzhang1 转发并称赞 DeepSeek 的推理基准测试方法,认为其控制了所有自由变量,给出了近期最有说服力的 roofline 曲线,主张所有推理引擎都应按此方式测试,并把 KV cache 与 prefill/decode 分开跑分。

配图是 DeepSeek V4.1 Flash 的 decode 输出吞吐 vs 单用户速度曲线:在 EP64DP64、384+64 专家、131k 上下文、nextn=3、每 token 接受率 75%(τ=3.25)的固定条件下,单 GPU 输出吞吐从批量 256(约 100 tok/s/用户)时的约 26,000 tok/s,到批量 8(约 320 tok/s/用户)时的约 2,500 tok/s,清晰呈现吞吐与交互性的权衡。引用推还调侃:如果 inferenceX 不废弃 8k/1k 配置就不会有这些争议。