DeepSeek-V4-Flash 本地部署实测：多硬件跑分与极限量化方案

DeepSeek-V4-Flash-0731 模型发布后，开发者社区涌现了大量本地部署与性能压测结果。测试覆盖了从消费级显卡到个人 AI 超算等多种硬件，证明了通过合理的量化与部署策略，完全能在本地高效运行前沿大模型，NVIDIA DGX Spark 等个人算力设备的实用价值得到显著提升。

已确认

DGX Spark 性能表现：双机 DGX Spark 使用官方 FP8 权重，单流吞吐量达 82 tok/s（峰值约 95 tok/s），3 并发时可达 135 tok/s。单台设备通过 2-bit 量化也能运行 155G 模型，并在 3bit 量化测试中以 16.5 tok/s 的速度排名第一。在 85% 缓存命中率下，双机每日极限处理量可达 1 亿输入 token。
专业与消费级显卡实测：在 2× RTX PRO 6000 Blackwell 上结合投机解码，单流吞吐量中位数达 243 tok/s；该配置可跑满百万上下文（并发能力相应减半）。RTX PRO 6000 eGPU 达到 44-59.5 tok/s。此外，A6000+256GB 内存跑出 17.2 t/s，3 张 RTX 3090 也能以 119GB 显存占用运行 Q3 量化版。
量化与加速方案：针对多 GPU 混插，开发者通过仅对路由专家张量降至 IQ3XXS 的自定义 GGUF 方案，提升了 40% 解码速度。单台 DGX Spark 借助 vLLM-Moet 2-bit 量化与 MTP 提速，在 12 并发下将聚合吞吐量提升至 58.5 tok/s。

这些密集的实测数据打破了前沿大模型只能依赖云端算力的刻板印象。通过投机解码、混合精度量化与统一内存架构，个人开发者不仅能在本地完成原型设计，甚至能承载高并发的智能体工作负载，大幅降低了 AI 应用开发的 Token 成本与门槛。

2026-08-02 ~ 2026-08-03 · 14 条相关