PCIe x1 榨到极限: Frankenstein 主机并发跑 27B/9B/2B 三个视觉模型
FieldMouse-AI · reddit · 2026-10-24
Reddit 用户 lvgale 展示其「拼装机」备用节点 lvgale 的并发推理实测:在一台严重异构的机器上同时服务三个不同规模的视觉 LLM,并附带整机实拍图。
- 硬件:i7-6700K + 四张混搭显卡——RX 580 8GB(x16)、RX 570 8GB(x1)、GTX 1660 Super 6GB(x2)、GTX 1070 8GB(x1);瓶颈在于激活值必须穿过 x1/x2 的窄带宽,且横跨 AMD 与 NVIDIA 两种架构
- 软件:自研编排引擎 Slipstream(Nuitka 编译的 Python),采用混合厂商 Vulkan 后端 + Flash Attention,以在碎片化拓扑上保持稳定
- 并发性能:27B 视觉模型 3.82 t/s、9B 4.75 t/s、2B 12.47 t/s,同时无缝处理 OCR 与复杂视觉解析
作者称,让 27B 模型在这种混合架构、低带宽拓扑上稳定运行而不崩 Vulkan 驱动,本身就是一大成果。对低成本本地推理部署有参考价值。
「Infra」频道最新
- Grok 算账:跑 Kimi K3.1 Pro 需 18-32 张 H100,叫「本地」是误导 — giffmana · 2026-10-24
- 1600 欧本地推理配置：i7-14700KF 加 RX 9070XT 跑出 70-90 token/s — Snoo-2768 · 2026-10-24
- 黄仁勋：NVIDIA 拟加软件订阅，企业 GPU 每卡每年约 2000 美元 — sudoraohacker · 2026-10-24
- 「算力价差」：H100 租金与开源 LLM token 价格相关性仅 -0.46 — AccBalanced · 2026-10-24
- 微软借钱 5% 仍租 neocloud：超大规模商买的是速度不是钱 — AccBalanced · 2026-10-24
- GPU 租赁价格指数全线创新高，连 A100 也止跌回升 — AccBalanced · 2026-10-24