律师用12块2018年V100跑满血DeepSeek-V4.1-Flash,单流184 tok/s
TumbleweedNew6515 · reddit · 2026-11-20
一位律师更新了他的 V100 服务器部署:从 8 卡升级到 12 张 V100-SXM2-32GB(3 块 NVLink 板,切成 3 个流水线阶段 × 4 卡张量并行,在 14/28 层切分),把 DeepSeek-V4.1-Flash 的全部 15,360 个 routed experts 以 NVIDIA 原装 NVFP4 精度全部放进显存——不压缩、不放系统内存,因为 8 卡只有 254 GiB、装不下 278.9 GiB 的专家层。
实测数据(单请求单流):
- 代码生成解码速度 157-184 tok/s(1K-128K 上下文),256K 时仍有 153 tok/s;法律文本 92-102、散文 83-95 tok/s
- 128K 文件冷读取 28 秒,文档缓存后首 token 不到 1 秒;三路并发(共享缓存)合计 427 tok/s
- 服务配置 524,288 token 请求上限、4 个并发槽位
作者称没有任何已发表的 DGX Spark 集群方案(3x/4x)在单流速度上能达到这一水平,而成本约为 3 台 Spark 的一半。整个项目依然通过 Claude Code 驱动,benchmark、表格和文章都由它协助完成。Repo、配置、日志和踩坑清单全部公开。
「编程与Agent」频道最新
- TestSprite 4.0 发布:给 AI 写的代码配一道独立测试防线 — Tegadesigns · 2026-11-20
- VP 视角批编码模型:像下属汇报只倒流水账没有结论 — robleclerc · 2026-11-20
- GitHub 开源 Agent Host Protocol:跨设备接续的 agent 会话协议 — rseroter · 2026-11-20
- 纯代码驱动 Blender 渲染松鼠一生短片,成本仅 34.76 美元 — dreamwieber · 2026-11-20
- 思科 1200 名工程师借 AWS AI League 竞赛练成 Agent 开发 — AWS ML Blog · 2026-11-20
- 开发者自建 MCP 记忆层:散步口述计划,晚上 ChatGPT 直接照写 — jordimr · 2026-11-20