律师用12块2018年V100跑满血DeepSeek-V4.1-Flash,单流184 tok/s

TumbleweedNew6515 · reddit · 2026-11-20

一位律师更新了他的 V100 服务器部署:从 8 卡升级到 12 张 V100-SXM2-32GB(3 块 NVLink 板,切成 3 个流水线阶段 × 4 卡张量并行,在 14/28 层切分),把 DeepSeek-V4.1-Flash 的全部 15,360 个 routed experts 以 NVIDIA 原装 NVFP4 精度全部放进显存——不压缩、不放系统内存,因为 8 卡只有 254 GiB、装不下 278.9 GiB 的专家层。

实测数据(单请求单流):

作者称没有任何已发表的 DGX Spark 集群方案(3x/4x)在单流速度上能达到这一水平,而成本约为 3 台 Spark 的一半。整个项目依然通过 Claude Code 驱动,benchmark、表格和文章都由它协助完成。Repo、配置、日志和踩坑清单全部公开。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →