50 人本地 RAG 怎么配：OCR、向量检索和重排
InternationalGap3698 · reddit · 2026-08-04
- 发帖者在搭建一个面向约 50 名员工的内部知识库 RAG 系统，希望先本地部署，兼顾性能、成本和数据隐私。
- 他们分别询问 OCR、Embedding 和 Rerank 三个环节该选什么模型，并希望在效果与开销之间取得平衡。
- 另外还想知道虚拟机该怎么配：CPU、内存、存储、GPU 是否需要，以及在并发不高的前提下还有哪些架构要点要注意。
「Infra」频道最新
- Databricks 年化收入突破 40 亿美元，累计融资接近 218 亿美元 — thedealdirector · 2026-08-04
- AI 指数在 2024 年末后陡增 5 倍，算力转向推理和后训练 — ProfBuehlerMIT · 2026-08-04
- DeepSeek V4 Flash 量化版本本地性能实测：Q3 比 Q8 快数倍 — Spicy_mch4ggis · 2026-08-04
- Bittensor 推出 Root Reborn，恢复验证者并取消自动抛压 — const_reborn · 2026-08-04
- ARPL 让 llama.cpp 按 ARM 指令集和核心拓扑运行时自适配 — OpeningTough145 · 2026-08-04
- DeepSeek V4 Flash 0731 在 llama.cpp speculative decoding 里报 ctx_other 错 — Ambitious_Fold_2874 · 2026-08-04