.NET 推理引擎 TensorSharp 公开数据:A40 prefill 最高 5.5 倍于 llama.cpp
fuzhongkai · reddit · 2026-10-25
r/LocalLLaMA 帖子严格区分了 TensorSharp(原生 .NET 10 GGUF 推理引擎，作者 zhongkaifu)仓库中已记录的数字与可自行复现的部分，并附大量注意事项：
- 数据中心 A40:DeepSeek V4.1 Flash 在 5×46GB A40、32K 上下文下，exact prefill 563.9 vs llama.cpp 174.6(3.23x),近似 YOCO 模式 960.5(5.50x,仅适用于该 1.8K prefill 场景);Muse Spark 816B 在 10×A40 上 prefill 快 1.63-2.07x,decode 1.40x,layer-split decode 0.99x(略慢，刻意如实报告)。
- CPU offload:2×RTX PRO 6000 Blackwell 主机上，Gemma 4 26B-A4B 全专家放系统内存仅需 10.8GiB;三种 MoE 模型 prefill 快 4.5-10.9x,decode 2.5-4.5x,代价是 1.0-3.5x VRAM。DeepSeek V4 offload decode 是 llama.cpp 反超的少数场景。
- Apple M5 Pro:仅绝对值、接近持平(<1.0x),且 ggml 版本差异偏向 TensorSharp,不可当作「胜过 llama.cpp」引用。
- 笔记本 GPU 投机解码:RTX 3080 Laptop + Qwen3.8-27B,DFlash2 在高可预测 prompt 上达 1.63x(31.7 tok/s)。
文档明确警告不要把不同硬件/场景的加速倍数合并成一个宣传数字。
所属事件:TensorSharp 宣称 DeepSeek prefill 吞吐最高达 llama.cpp 5.5 倍(3 条相关)→
「Infra」频道最新
- 曝三星将用台积电 3nm 为英伟达 NVHBM 定制芯片代工基芯 — Beth_Kindig · 2026-10-25
- 反驳AI泡沫论：每GPU收入减租金才是关键算式 — PTrubey · 2026-10-25
- AI 创业圈新生意:提前锁定 H100/B200 租约转租算力即可躺赚 — Yuchenj_UW · 2026-10-25
- Swarms 开源 RouteHub：导入仅 5.5ms，比 litellm 快约 190 倍 — KyeGomezB · 2026-10-25
- AMD Radeon 9700一个月涨价一倍,个人推理服务器难攒 — UltramanQuar · 2026-10-25
- 新博客拆解 GPU 通信：从页表到 NVLink，逐一对应 SGLang 内部用法 — BanghuaZ · 2026-10-25