两张不配对的 Tesla V100 组成本地推理平台，预填充达 1377 tok/s
OkBase5453 · reddit · 2026-09-20
作者用一张 16GB + 一张 32GB 的旧款 Tesla V100-PCIE（共 48GB 显存）在 Proxmox/LXC 环境中搭建本地 LLM 推理平台，跑 Qwen3.8 27B Q6KM 实测：2k 上下文预填充 1376.9 tok/s、解码 39.9 tok/s，16k 上下文预填充仍有 1221.5 tok/s。
关键调优结论：
- tensor split 优于 layer split：tensor split + 主卡设为 32GB V100 后从 981→1377 pp tok/s、23→40 tg tok/s，不切分则只有 967/18。
- 64k 上下文用 1:1.5 切分比跑 Q8，预填充 664 tok/s。
- 用 ikllama.cpp 跑 177B/6B 激活的 MoE 模型（Flash Next Q4，103GB GGUF），跨双卡解码约 26 tok/s。
- NInfer 框架跑 NVFP4 量化 27B，8k 预填充 927 tok/s。
最终日常配置：mainline llama.cpp + Qwen3.8 27B Q6 + tensor split + Flash Attention + Q8 KV + NUMA distribute + 大 batch。在「一张肾换一块 GPU」的市场环境下，旧 V100 仍有可观生产力。
「Infra」频道最新
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04