TensorSharp 实测：投机解码让 DeepSeek 速度翻倍
fuzhongkai · reddit · 2026-08-03
开源本地推理引擎 TensorSharp 宣布支持 DSpark 投机解码，并在 DeepSeek-V4-Flash-0731 模型上放出了实测数据。
在 4 张 Nvidia A40 GPU 的环境下，开启 DSpark 后模型推理速度获得显著提升：
- 短文本生成：从 25.6 提升至 44.5 tokens/s（1.74 倍）
- 长文本生成：从 26.4 提升至 40.3 tokens/s（1.53 倍）
- 处理 1 万 token 长文档：从 25.3 飙升至 51.3 tokens/s（2.03 倍）
TensorSharp 是一个原生开源的 LLM 推理引擎，支持 CUDA、Vulkan、Metal、连续批处理以及多模态等功能。
所属事件:TensorSharp引擎实测让DeepSeek推理速度翻倍(4 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16