TensorSharp 引擎实测:DeepSeek V4.1 Flash 在 8×A40 上预填充破 500 tok/s
fuzhongkai · reddit · 2026-09-13
开源推理引擎 TensorSharp 新增 DeepSeek V4.1 Flash 专用执行路径,在 8× NVIDIA A40 上取得:Q2K 预填充 533–539 tok/s、单流解码约 40 tok/s;Q4KM 预填充 451–492 tok/s、解码约 31 tok/s、4 并发聚合 48.9 tok/s。配置为 8 卡层切分、F16 KV cache、65K 上下文。关键优化发现:
- Engram 查表是主要瓶颈:Q2K 的两张 Engram 表约 60 GiB,将量化行常驻 GPU 后预填充从 210 提到 535 tok/s
- 用「每 GPU 一个 wrapper backend」替代分离的 custom/CUDA 后端,把解码图调度切分从 570 降到 8,解码提到 40 tok/s
- Q4KM 的 Engram 表过大无法常驻,改用异步主机预热 + 更优 VRAM 布局,把主机 MoE offload 从 3 层降到 1 层
- 新的 token-batched decode 让 4 并发聚合吞吐近翻倍
- 有趣的反直觉结果:无 NVLink 且跨 NUMA 节点时,routed-expert TP=8 反而比层切分慢(22 vs 32 tok/s),通信开销盖过了权重布局收益
所属事件:DeepSeek V4.1-Flash 发布：KV cache 压至每 token 890 字节(6 条相关)→
「Infra」频道最新
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31