硬核玩家分享 4×6000 Pro 本地 AI 集群三年搭建史
Tourus · reddit · 2026-08-09
一位开发者详细复盘了其本地 AI 集群从单张游戏显卡升级到 4× RTX 6000 Pro Max Q + 4× RTX 3090 的三年进化史。核心动机是保证私密数据不离线，并追求稳定的本地推理能力。
作者分享了诸多硬件排坑经验：劣质电源和 PCIe 线曾导致显卡掉线甚至差点引发火灾。他强调，从纯算力成本看云端更便宜，本地集群仅为隐私和极客爱好买单。目前该集群 90% 用于初创产品开发，彻底解决了 API 额度限制和密钥泄露担忧，并成功运行 GLM 5.2 等大模型及各类图像/语音工作流。
「Infra」频道最新
- MLCommons 推出 MLPerf Endpoints,按真实服务端点测推理性能 — TheKanter · 2026-10-16
- Neocloud 并购潮解析：CoreWeave、Nebius 等押注 GPU 稀缺之外的价值 — AccBalanced · 2026-10-16
- AI 驱动的时序感知功耗优化:学习排序+基线保全策略回收布线后功耗 — Amit Sharma · 2026-10-16
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16