DeepSeek-V4-Flash单机部署实测
Dry-Tough-8068 · reddit · 2026-07-07
用户在Ascent GX10上以REAP剪枝的NVFP4 DeepSeek-V4-Flash进行单Spark部署（REAP由0xSero完成，通过patch eugr/spark-vllm-docker镜像），重点验证长上下文一致性，发现随上下文增长吞吐保持稳定。 自建Grafana仪表盘监控Spark（vLLM服务至262k上下文），并给出不同并发下prefill/decode的吞吐与TTFT详细数据。