$250 淘矿卡魔改 30GB 显存,老 i7 主机跑 Qwen 达 30 tok/s
HFq_Dev · reddit · 2026-09-19
一位 Reddit 用户用旧电脑(i7-4790K + Z97 + 32GB DDR3)搭出本地推理服务器:原 GTX 1070 保养时意外损坏后,他转向二手矿卡——两张魔改 CMP50HX(一张 20GB/PCIe x16 魔改版、一张 10GB 原版),合计 30GB 显存仅花 $250(如今价格已翻倍)。
关键在于社区驱动补丁:新驱动补丁几乎解除了矿卡算力限制,还支持 PCIe 2.0(原卡仅 PCIe 1.1)。性能因此翻倍:Qwen3.8 27B(MTP 开启)达 30-35 tok/s,prompt 处理 300-400 tok/s;MoE 模型 Ornith 1.5 35BA3B 更跑到 80-100 tok/s。受 PSU 限制他把功耗压在 180W(满血 225W 还能更快)。
踩坑经验:补丁对 20GB 版本支持不全、休眠唤醒会导致驱动崩溃(禁用睡眠即解决,PCIe 补丁问题),作者已为不同量化等级和 KV cache 配置做了多套预设。这是低成本本地部署的完整参考案例。
「Infra」频道最新
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Gary Marcus 断言数据中心需求已过峰值,新项目正被砍 — GaryMarcus · 2026-11-04
- DeepMem:字节级多尺度记忆架构,省 54% 显存提速 37% — Afshin Khadangi · 2026-11-04