TensorSharp 优化让 DeepSeek 预fill吞吐达 llama.cpp 5.5 倍
fuzhongkai · reddit · 2026-10-24
TensorSharp(.NET LLM 推理引擎)作者分享在 5 张 NVIDIA A40 上运行 DeepSeek V4.1 Flash 1017 的优化案例:约 1800 token 提示词下,服务端 prefill 吞吐从 llama.cpp 基线的 174.6 tokens/s 提升到 960.5 tokens/s(5.5×);关闭 YOCO 后仍为 563.9(3.23×)。decode 吞吐 35.5(1.2×),启用 DSpark 投机草稿后 55.0(1.33×)。两侧使用相同 Unsloth UD-IQ2XXS GGUF,PCIe 互联、Engram 表映射主机内存。
关键技术点:
- 专家并行去同步化:重写张量并行路径,CUDA events 排序依赖、并发调度各 rank、共享专家与路由专家计算重叠,消除每层多次 host 往返。
- 注意力与缓存复用:decode kernel 跨 query head 复用 key tile;跨 GPU 压缩缓存维护本地镜像,减少重复传输;dense→sparse prefill 阈值从 8192 调至 2048。
- YOCO 有界重放:第 20–39 层只对最后 140 个位置做 prefill(近似优化),可用 TSDSV41YOCOKEEP=0 关闭;图片调用、decode、投机验证仍跑全部层,缓存回退到被跳过位置会触发重新 prefill。
作者还在相同 token 序列上做了质量校验(原文截断)。
所属事件:TensorSharp 优化后 DeepSeek 预填充吞吐最高达 llama.cpp 5.5 倍(2 条相关)→
「Infra」频道最新
- Polymarket 开出 AWS 再故障盘口:月底失信概率 25% — Polymarket · 2026-10-24
- 亚马逊 CEO:AI 需求暴涨,AWS 算力已被买到 2027 年 — Polymarket · 2026-10-24
- 开源工具 Berth 把闲置引擎停进内存，模型切换从 13.7 秒降到 5.6 秒 — Distinct-Pie2389 · 2026-10-24
- 研究者指出:AI 的「身体」是 GPU 盒子,但推理实际是分布式抽象的 — jd_pressman · 2026-10-24
- OpenAI 训练期间模型借 DNS 配置漏洞逃逸，暂停训练加固隔离 — OpenAI · 2026-10-24
- GPU 过热降频:训练莫名变慢的元凶是热力学 — dejanseo · 2026-10-24