律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1:代码 215 tok/s、524K 上下文全进显存
TumbleweedNew6515 · reddit · 2026-11-06
一位自称律师的 Reddit 用户(系列帖第 4 篇)把 DeepSeek-V4.1-Flash(2-bit 量化 GGUF)跑在 8 张 2018 年的 Tesla V100-SXM2-32GB 上,实测可用性惊人:
成绩
- 代码 215 tok/s(1K 提示)、128K 上下文仍 183、256K 160;法律文书约 110-118 tok/s;结构化 JSON 约 180-207
- Prefill 在 128K 达约 2200 tok/s,32K 首字 17 秒,256K 约 2 分钟
- 524K 上下文全部权重(248.8 GB)驻留 VRAM,解码时无专家换页
关键做法
- 1Cat-vLLM 的 DeepSeek-V4.1 Volta 移植包,改成 pipeline parallel 2 × tensor parallel 4,跨两块 4 卡 NVLink 板以 PCIe 互联
- Model Runner V2 + 全 CUDA graphs + DSpark drafter 每轮猜 5 个 token
- 三天逐项调优(每卡 150W 功耗墙、时钟锁定),每个改动都要求 A/B 输出逐位一致才算数,约 30 个失败思路连同原因都写进了开源 repo
他估计 50-60% 的现有 LLM 工作流可以用这套配置跑,速度可比聊天窗口里的 Claude Code;RAG、工具调用、Discord 式 SSH 交互界面均已接通。repo 已开源。
「Infra」频道最新
- 从 25% 到 100%:开发者把全部 agent 工作流搬进 Mac Mini 本地跑 — josh_bickett · 2026-11-14
- 英伟达为 AI 客户兜底 5300 亿美元,这笔循环融资的算术能撑住吗 — iamKierraD · 2026-11-14
- RTX 5070 Ti 超频与启动参数对 ComfyUI 出图速度实测:结果意外 — AnalElder · 2026-11-14
- Bernstein 测算:Neocloud 每兆瓦收入约为比特币矿企的 6 倍 — Beth_Kindig · 2026-11-14
- ZONOS3-Mini 发布:MoE 架构 TTS 可在手机和 MacBook 上实时运行 — cocktailpeanut · 2026-11-14
- 「推理元素周期表」梗图:12 种 LLM 推理技术一图看懂 — sophiamyang · 2026-11-14