TensorSharp 跑 DeepSeek V4 Flash 性能超 llama.cpp
fuzhongkai · reddit · 2026-08-01
开源推理引擎 TensorSharp 宣布支持 DeepSeek-V4-Flash-0731 模型，并在多卡环境下跑出了超越 llama.cpp 的性能。
在 4 张 Nvidia A40 GPU（CUDA 12.8）的测试中，使用 unsloth 的 Q8KXL 量化版本：
- Prefill 速度：TensorSharp CUDA 后端达 836 tok/s，优于 llama.cpp 的 558 tok/s。
- Decode 速度：在短序列和 16K 上下文下，TensorSharp 也略优于 llama.cpp。
该项目支持 CUDA、Vulkan、Metal、兼容 OpenAI API、连续批处理及多 GPU/多节点推理。
所属事件:TensorSharp引擎实测让DeepSeek推理速度翻倍(4 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16