不到一块 RTX 6000 的钱装出 768GB 显存,跑通多个大模型

segmond · reddit · 2026-09-18

Reddit 用户 segmond 展示了自己的极限省钱方案:12 张 64GB 的 CMP170HX 矿卡,组成 768GB 显存的推理机,总成本低于一块 RTX 6000 Pro。他用光纤连接另一台机器做 RPC 扩展内存,通过 vLLM 或 llama.cpp 运行 GLM、DeepSeek、Qwen、Kimi、MiniMax 等多个大模型,声称性能远超单卡 RTX 6000 或 Mac Studio。作者长期分享低成本大显存方案,表示算力需求会长期高企,看到好价就应出手。评论区预期会有 API 更便宜、电费噪音等老生常谈的争论。