硬核玩家分享 4×6000 Pro 本地 AI 集群三年搭建史

Tourus · reddit · 2026-08-09

一位开发者详细复盘了其本地 AI 集群从单张游戏显卡升级到 4× RTX 6000 Pro Max Q + 4× RTX 3090 的三年进化史。核心动机是保证私密数据不离线，并追求稳定的本地推理能力。

作者分享了诸多硬件排坑经验：劣质电源和 PCIe 线曾导致显卡掉线甚至差点引发火灾。他强调，从纯算力成本看云端更便宜，本地集群仅为隐私和极客爱好买单。目前该集群 90% 用于初创产品开发，彻底解决了 API 额度限制和密钥泄露担忧，并成功运行 GLM 5.2 等大模型及各类图像/语音工作流。