4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分
Aroochacha · reddit · 2026-10-16
Reddit 用户 Aroochacha 针对 Wccftech 报道的 Patrick Moorhead 4x DGX Spark 跑 DeepSeek-V4.1-Flash（峰值 494 tok/s）做独立复现，发现报道严重遗漏与误报。
媒体报道的问题
- Moorhead 的推文与报道均未说明推理引擎、recipe、设置与测试 prompt
- Wccftech 写的 "Memory footprint: 476 GB" 实为磁盘占用（GiB），不是运行所需内存；推文首图实际只有 69 t/s
- Moorhead 回复称设置是 NVIDIA 员工做的，自己"可能也许"出了钱
实际复现发现
- 权重本身就有 511 GB，而 4 台 Spark 共 512 GB 池化内存中实际只能用 80%–92%（约 410–470 GB），模型根本装不进去
- 内存分配超过 0.92（每台 117GB）就会崩溃或挂起；运行中内存还会波动，需预留余量
- Engram 表（约 196 GB）需从各节点本地 NVMe 流式读取并配约 4 GB row cache，否则无法运行
踩坑与解法
- 启动时 OOM（ibvregmr Cannot allocate memory / CUDA OOM）：读权重的 page cache 填满共享内存且驱动不回收，需在启动时 drop caches，并开启 SGLang 加载权重后 drop cache 的选项
- NCCL 初始化偶发失败是启动竞态，重跑 serve 一两次即恢复
- 最终配置：4x DGX Spark 走 100 GbE 交换机，SGLang TP4 + knapcio 的 recipe + DSpark 投机解码，262K 上下文、temperature 0
「Infra」频道最新
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16