DeepSeek V4.1 Flash 八卡 A40 实测：自研推理引擎跑到 40 tok/s
fuzhongkai · reddit · 2026-09-13
开源推理引擎 TensorSharp 作者公布 DeepSeek V4.1 Flash GGUF 在 8×A40（layer split、F16 KV cache、65K 上下文）上的成绩：
- Q2K：prefill 约 533–539 tok/s，单请求 decode 40.3–40.7 tok/s
- Q4KM：prefill 452–492 tok/s，单请求 decode 31–32.5 tok/s；4 并发总吞吐 48.9 tok/s
关键优化：Q2K 将约 60 GiB 量化 Engram 表常驻 GPU，并把每 GPU 后端统一，使 decode 图切分从约 570 降到 8；Q4KM 的更大表留在主机内存，靠自动预热、显存预算收紧和 token 批量 decode 拿到约 1.9× prefill 与 2× 四并发吞吐，40 层中仅 1 层专家留在 CPU。
另一反直觉发现：在这台无 NVLink 的机器上，layer split（31–32.5 tok/s）反而胜过实验性 MoE 张量并行（21.4–22 tok/s）。作者也诚实注明这是项目自报数据，数值/生成质量一致性未验证，批处理可能改变输出。
所属事件:DeepSeek V4.1-Flash 发布：KV cache 压至每 token 890 字节(6 条相关)→
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31