50 人团队如何自建私有 RAG 系统？Mac Mini 集群方案探讨
rogo725 · reddit · 2026-08-07
一位网友发帖探讨了如何为分布在全国的 50 人团队搭建完全私有、不依赖云 API 的 RAG（检索增强生成）系统。
- 硬件方案：提议使用多台 Mac Mini Pro（M4 Pro 芯片，48GB 内存）组建小型集群，配合 VPN 和负载均衡器处理并发请求，并保留一台机器作为故障转移节点。
- 模型选择：计划运行 30B-35B 参数级别的开源模型，认为独立节点部署比将硬件资源池化运行超大模型更简单可靠。
- 核心诉求：重点在于保障共享基础设施的稳定性与并发访问能力，以及如何高效处理不断增长的文档索引。
该帖向社区征集关于节点负载均衡、内存与模型大小权衡、文档摄取策略以及远程访问安全性的实战经验。
「Infra」频道最新
- 华邦扩产冲刺全球 SLC NAND 第一，AI 与机器人推高需求 — zephyr_z9 · 2026-08-07
- DeepSeek 流量激增，缓存命中率表现优异 — teortaxesTex · 2026-08-07
- 英伟达展示 Vera Rubin NVL72 计算机托盘：全自动组装，无风扇无线缆 — MickeySteamboat · 2026-08-07
- Cloudflare 发布 Kitesurf：专为 AI 智能体打造的无头浏览器 — dinasaur_404 · 2026-08-07
- 万亿美元算力投资与 AGI 落空：AI 商业模式的可持续性探讨 — Positive_County_3493 · 2026-08-07
- a16z 谈开源权重模型：成本与掌控权是核心优势 — FinanceYF5 · 2026-08-07