律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1：代码 215 tok/s、524K 上下文全进显存
TumbleweedNew6515 · reddit · 2026-11-06
一位自称律师的 Reddit 用户（系列帖第 4 篇）把 DeepSeek-V4.1-Flash（2-bit 量化 GGUF）跑在 8 张 2018 年的 Tesla V100-SXM2-32GB 上，实测可用性惊人：
成绩
- 代码 215 tok/s（1K 提示）、128K 上下文仍 183、256K 160；法律文书约 110-118 tok/s；结构化 JSON 约 180-207
- Prefill 在 128K 达约 2200 tok/s，32K 首字 17 秒，256K 约 2 分钟
- 524K 上下文全部权重（248.8 GB）驻留 VRAM，解码时无专家换页
关键做法
- 1Cat-vLLM 的 DeepSeek-V4.1 Volta 移植包，改成 pipeline parallel 2 × tensor parallel 4，跨两块 4 卡 NVLink 板以 PCIe 互联
- Model Runner V2 + 全 CUDA graphs + DSpark drafter 每轮猜 5 个 token
- 三天逐项调优（每卡 150W 功耗墙、时钟锁定），每个改动都要求 A/B 输出逐位一致才算数，约 30 个失败思路连同原因都写进了开源 repo
他估计 50-60% 的现有 LLM 工作流可以用这套配置跑，速度可比聊天窗口里的 Claude Code；RAG、工具调用、Discord 式 SSH 交互界面均已接通。repo 已开源。
「Infra」频道最新
- 科技股单日蒸发 3.2 万亿美元,Nvidia 跌 9.3%,数据中心或受地方严审 — rohanpaul_ai · 2026-11-06
- 瑛太 Huang 新视频拆解 LLM Serving：让推理更快更便宜的关键技术 — jbhuang0604 · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- 剔除数据中心设备后,美国贸易逆差占 GDP 仅 0.7%,为 2000 年以来最低 — soumitrashukla9 · 2026-11-06
- Modal 的 GPU 术语表被盛赞：云计算商的免费硬核参考 — eigenron · 2026-11-06