TensorSharp 实测：DeepSeek V4 Flash 多卡推理性能超 llama.cpp
fuzhongkai · reddit · 2026-08-01
开源推理引擎 TensorSharp 近期更新了多 GPU 与多节点推理支持，作者借此测试了其运行 DeepSeek-V4-Flash-0731 量化模型的性能，并与 llama.cpp 进行了对比。
测试环境与模型：
- 硬件：4 张 Nvidia A40 GPU (CUDA 12.8)
- 模型：DeepSeek-V4-Flash-0731-UD-Q8KXL (来自 unsloth)
基准测试结果（TensorSharp CUDA 后端 vs llama.cpp）：
- Prefill (16K)：836 tok/s（TensorSharp 最优），llama.cpp 为 558 tok/s
- Decode (短文本)：31.5 tok/s，llama.cpp 为 35.3 tok/s
- Decode (16K)：28.5 tok/s，llama.cpp 为 32.2 tok/s
在长文本的预填充阶段，TensorSharp 展现出明显的速度优势，但在解码生成阶段略逊于 llama.cpp。
所属事件:TensorSharp引擎实测让DeepSeek推理速度翻倍(4 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16