双机部署 304B 模型遇内存瓶颈，极限优化策略探讨
StartupTim · reddit · 2026-08-08
开发者探讨了在 2 台 NVIDIA DGX Spark（每台 128GB 统一内存）上部署 DeepSeek-V4-Flash-0731（304B MoE 模型）时，如何为操作系统释放更多内存空间。
部署现状与瓶颈
- 硬件与模型：双机共 256GB 统一内存，通过 ConnectX-7 直连。模型采用原生 FP8 权重（167GB），支持 100 万 token 上下文。
- 推理栈：基于源码编译的 vLLM，开启 TP=2 张量并行与投机采样（接受率约 80%）。
- 性能表现：单流解码速度达 82 tok/s，预处理约 1400 tok/s，14.6 万 token 长文测试 3/3 通过。
- 内存分配：模型权重与计算图占约 87-89GB，KV 缓存池约 11.2GB，剩余留给系统的空间仅 5-7GB（长文本任务时甚至会跌至 2-3GB）。
已排除的无效方案
- 降低 GPU 显存利用率或最大上下文长度：会导致 vLLM 拒绝启动或无法释放内存。
- 容器内存限制与开启 Swap：会导致页面回收循环或系统假死。
- CPU 卸载与磁盘缓存：在统一内存架构下无意义，或因数据格式不兼容而报错。
核心求助点
作者寻求在统一内存架构下，能有效降低 vLLM 宿主进程常驻开销的实际手段，特别是缩小 API server 与 worker 进程的 RSS，以及针对 ConnectX-7 网络的 NCCL 缓冲区调优。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16