单台 DGX Spark 跑满 DeepSeek V4 Flash 155G：2-bit 量化与 MTP 提速实测
Puzzleheaded_Base302 · reddit · 2026-08-03
作者分享了在单台 DGX Spark (GB10, 121.7 GiB 统一内存) 上，使用 vLLM-Moet 2-bit 量化本地运行 155 GB 的 DeepSeek-V4-Flash-0731 的完整踩坑记录与性能实测。
核心性能数据：
- Prefill 速度稳定在 1000 t/s。
- 开启 MTP (Multi-Token Prediction) 后，Decode 速度从 19 tok/s 提升至 25.2 tok/s（并发 1 时提升 31.5%），但在高并发（并发 4）时总吞吐量会有 5.3% 的轻微下降。
关键部署障碍与解决：
- 必须原生编译：Docker 镜像无法跨架构（x86 到 ARM64）传输，必须在 Spark 上原生构建。
- 修改 Dockerfile：默认的 digest 仅支持 amd64，需替换为多架构 tag。
- 硬件适配：需引导 AI 修改代码以绕过不支持的 sm121 GPU 报错，并设置超大 swapfile 防止模型加载失败。
- 超时处理：由于加载时间极长，需增大 vLLM 的默认超时限制。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16