本地RAG避坑指南：LLM两小时搞定，向量库折腾三周

Cautious_Bit_8521 · reddit · 2026-08-14

一位后端开发者分享了自己在搭建本地 RAG（检索增强生成）系统时踩坑的血泪史。他发现配置 LLM（Ollama + LangChain）仅需 2 小时，但处理 5 万条文档的向量数据库却耗费了 3 周。

选型与踩坑过程：

Chroma：在 100 条文档时表现良好，但扩容至 5 万条时查询延迟飙升至 4 秒。
pgvector：虽然集成方便，但因忘记正确构建 HNSW 索引（配置 efconstruction），导致数据库在执行纯顺序扫描。
Milvus：自建过程涉及 14 个 Docker 容器，虽查询快但遭遇内存溢出（OOM）和复杂的标量过滤语法。最终放弃自托管，转向托管的 Zilliz Cloud 才在 20 分钟内解决问题。

核心教训：RAG 系统的真正瓶颈不在 AI 模型，而在数据检索。分块策略比嵌入模型更重要，而索引参数的调优又比分块更关键。建议在处理大规模数据时，优先规划好向量数据库。

「编程与Agent」频道最新