TensorSharp 实测：本地推理多项指标超 llama.cpp

fuzhongkai · reddit · 2026-08-14

开发者针对开源推理引擎 TensorSharp 与 llama.cpp 进行了深度的性能基准对比。

测试环境：使用单张和双张 NVIDIA RTX PRO 6000/4000 Blackwell GPU，运行 Meta Muse Glimmer 30B 的 GGUF 量化模型。
纯文本生成：在短上下文（如 60-2050 tokens）场景下，TensorSharp 的 prefill（预填充）速度明显领先（最高达 1.27 倍），但 decode（解码）速度互有胜负。在超长上下文（>16k tokens）下，llama.cpp 的整体吞吐更占优。
投机解码（Speculative decoding）：结合 DFlash 草稿模型时，TensorSharp 在中等长度上下文中表现优异，但在超长上下文场景中，llama.cpp 展现了更稳定、更高的解码速度。
多卡扩展：在双卡张量并行（TP=2）测试中，TensorSharp 获得了 1.34 倍的 prefill 和 1.57 倍的 decode 显著加速。

TensorSharp 是一款支持 CUDA、Vulkan、连续批处理和多模态的本地大模型推理引擎。

「Infra」频道最新