本地离线 PDF RAG 应用

SilverConsistent9222 · reddit · 2026-07-13

作者做了一个**完全离线**的本地 RAG 应用，用来回答自己 PDF 里的问题。 ### 实现方式 - 用 Flask 做前后端 - 上传 PDF 后先切分成重叠 chunks，避免句子被截断 - 每个 chunk 生成 embedding 后存进 ChromaDB，并用 `PersistentClient` 持久化到磁盘 - 提问时把问题也做 embedding，检索最相关的 chunks 作为上下文交给模型 ### 行为特点 - Prompt 明确要求模型**只能依据检索到的上下文回答**，没有答案就直接说不知道，避免胡编 - 作者测试了文档外问题，模型能正确表示“不知道” - 断网后仍可工作，因为聊天模型、embedding 和向量库都在本地运行，没有外部 API 依赖

原文链接 →