4 张 2017 年 V100 跑 DeepSeek-V4.1-Flash:解码 38 tok/s、512K 上下文
TumbleweedNew6515 · reddit · 2026-11-03
博主详细记录在 4 张 Tesla V100 SXM2 32GB(2017 年老卡)+ 256GB DDR4 内存上本地运行 DeepSeek-V4.1-Flash 的完整方案:基于 1Cat-vLLM fork 解决 Volta 架构支持,232GB IQ2XXS GGUF 模型,110GB Engram 表放内存,约三分之一专家权重 offload 到 pinned RAM,5 token 投机解码。
实测数据:
- 解码 36-38 tok/s(8K 到 75K 上下文,thinking 开关差异不大)
- Prefill 约 1000-1200 tok/s,最深测到 128K
- 上下文窗口设 524288 tokens
- Engram 文件未预热时解码掉到 26 tok/s,说明 NVMe 预读到 page cache 很关键
硬件细节:NVLink 互联、SM 锁 1522MHz、功耗 150-175W/卡、从 SATA 硬盘加载约 22 分钟。下一步计划在 8 张 V100 上测试。
「Infra」频道最新
- Anthropic IPO 文件曝最高 1.07 万亿美元算力承诺 — rohanpaul_ai · 2026-11-03
- Anthropic IPO 文件曝最高 1.07 万亿美元算力承诺 — rohanpaul_ai · 2026-11-03
- 一块 B300 的 FP64 算力抵上 1997 年最强超算 — scaling01 · 2026-11-03
- WSJ：大投资者压价 Anthropic IPO 至 1.5-1.6 万亿美元 — rohanpaul_ai · 2026-11-03
- Cerebras 工程师拆解晶圆级芯片散热:水直进直出而非平行流过 — bookwormengr · 2026-11-03
- Altman 称家用闲置内存浪费，Goertzel 倡去中心化算力网络反制 — bengoertzel · 2026-11-03