TensorSharp 跑 DeepSeek V4.1 Flash prefill 吞吐达 llama.cpp 4.4–5.5 倍

fuzhongkai · reddit · 2026-10-23

TensorSharp 开发者在 5 张 NVIDIA A40（PCIe）上对比了自研引擎与 llama.cpp 运行 DeepSeek-V4.1-Flash-1017（Unsloth GGUF，约 300.5GB，UD-IQ2XXS）的表现，两者使用相同文件与机器。

核心数据：

Prefill 提升最大：默认开启 YOCO 优化时，真实文本 prompt 的 prefill 吞吐达 llama.cpp 的 4.4–5.5 倍（约 1.8K token prompt 下 960.5 vs 174.6 tok/s）
关闭 YOCO（TSDSV41YOCOKEEP=0）后仍有 2.4–3.2 倍优势；YOCO 参考 DeepSeek DeepInfer 引擎做法，让第 20–39 层只处理最后 140 个位置
普通 decode 提升较小（1.08–1.20 倍），启用 DSpark 投机解码后达 1.25–1.33 倍
质量代价：23030 token 的 WikiText-2 teacher-forced 评测中，开启 YOCO 使困惑度相对自身上升约 0.67%，相对 llama.cpp 差距为 +0.46%（关）/ +1.14%（开），且影响集中在生成的前几百个位置

报告如实标注了局限：困惑度差异不能直接换算为推理/编码能力差异，且 PCIe peer access 在该机器上未能正常工作。

「Infra」频道最新