单卡 GH200 跑 DeepSeek V4 Flash：DSpark 加速 2.7 倍实操指南
funding__secured · reddit · 2026-08-17
作者分享了在单张 NVIDIA GH200 上部署 DeepSeek-V4-Flash-0731 模型的完整方案。由于模型（284B MoE）无法完全放入 144GB HBM，作者利用 vLLM 的 UVA 功能将 88GB 专家权重卸载到 480GB LPDDR5x 内存中，并配合 DSpark 投机解码技术。
核心配置与成果：
- 使用 vLLM nightly 版本，无需打补丁即可原生支持 DSpark。
- 启用 cpu-offload-gb 88 和 offload-backend uva 处理显存不足。
- 性能数据：基线 64 tok/s → 启用 DSpark (k=5) 后提升至 171 tok/s（约 2.7 倍加速）。
避坑指南：
- 必须使用 nightly 版本，v0.26.0 不支持。
- 仅卸载专家权重，卸载 FP8 attention 权重会破坏 DeepGEMM。
- 无需使用选择性专家流式传输，NVLink C2C 速度足够快。
「Infra」频道最新
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16