TensorSharp 实测：投机解码让 DeepSeek 速度翻倍
fuzhongkai · reddit · 2026-08-03
开源本地推理引擎 TensorSharp 宣布支持 DSpark 投机解码，并在 DeepSeek-V4-Flash-0731 模型上放出了实测数据。
在 4 张 Nvidia A40 GPU 的环境下，开启 DSpark 后模型推理速度获得显著提升：
- 短文本生成：从 25.6 提升至 44.5 tokens/s（1.74 倍）
- 长文本生成：从 26.4 提升至 40.3 tokens/s（1.53 倍）
- 处理 1 万 token 长文档：从 25.3 飙升至 51.3 tokens/s（2.03 倍）
TensorSharp 是一个原生开源的 LLM 推理引擎，支持 CUDA、Vulkan、Metal、连续批处理以及多模态等功能。
所属事件:TensorSharp 实测：跑 DeepSeek V4 Flash 性能超 llama.cpp(3 条相关)→
「Infra」频道最新
- 曝 OpenAI 与英伟达商讨 2500 亿美元担保，用于建设 10GW 数据中心 — Beth_Kindig · 2026-08-03
- DeepSeek API 为何能低价盈利？模型极小致单卡吞吐量暴增 — AravSrinivas · 2026-08-03
- 算力成最大瓶颈，新兴大模型公司或被迫开源合作 — gorkem · 2026-08-03
- 弱鸡 ARM 跑大模型：KV 缓存持久化让首 Token 提速 15 倍 — Annual_Manner_5901 · 2026-08-03
- 开发者构建MCP服务器：覆盖480万播客、1.3亿集，可SQL查询 — Harj0t1singh · 2026-08-03
- LLM 路由并非核心痛点，Token 效率才是破局关键 — AdditionalWeb107 · 2026-08-03