TensorSharp 优化后 DeepSeek 预填充吞吐最高达 llama.cpp 5.5 倍

.NET 大模型推理引擎 TensorSharp 的作者在 5 张 NVIDIA A40（PCIe）上运行 DeepSeek V4.1 Flash 1017（Unsloth 版本），并与 llama.cpp 进行了对比测试。经过一系列优化，TensorSharp 的预填充（prefill）吞吐量达到 llama.cpp 的约 4.4 至 5.5 倍，作者随后分享了这一优化案例及具体做法，引发社区关注。

2026-10-23 ~ 2026-10-24 · 2 条相关

• TensorSharp 跑 DeepSeek V4.1 Flash prefill 吞吐达 llama.cpp 4.4–5.5 倍 — fuzhongkai · 2026-10-23
• TensorSharp 优化让 DeepSeek 预fill吞吐达 llama.cpp 5.5 倍 — fuzhongkai · 2026-10-24