本地 RAG 实战:检索决定上限,换更大的模型没用
Arindam_1729 · x · 2026-10-16
作者分享了在笔记本上跑通的完全本地 RAG 流水线:加载 3 个 txt 文件,按 chunk 500/重叠 50 切分,nomic-embed-text(经 Ollama)做嵌入,Chroma 做本地向量库,每次检索 top 3,Gemma 4 E4B 仅基于检索块生成答案。核心观点:检索质量决定答案上限,答案错误时应先检查检索到的块而非换模型——若正确句子没进 top 3,更大的模型只会更自信地幻觉。本地方案无 API 成本,可无限次重跑检索调试。作者另一帖还展示了用 Gemma 4 E4B + Ollama + Chroma + LangChain + Streamlit 搭建完全离线、6GB 模型、零费用的 agent,强调从云端迁到本地几乎只需改一行代码。
「编程与Agent」频道最新
- WorldBox 沙盒让 GPT-6 Astra 的 MazeBench 得分从 23 翻倍到 61 — ZhitingHu · 2026-10-16
- 两条 prompt 让 Gemini 4 Argon 把单机游戏改成完整多人对战 — chongdashu · 2026-10-16
- Anthropic 联合 Gray Swan 办 30 万美元 prompt injection 攻防大赛 — bcherny · 2026-10-16
- Vercel 推 Token Pass:每月 30 美元得 80 美元 GLM 5.3 与 Kimi K3 额度 — evilrabbit_ · 2026-10-16
- Together AI 成 Muse Spark Open Day 0 上线伙伴，主打长程 Agent 编码 — togethercompute · 2026-10-16
- Muse Spark Open 四大能力：1M 上下文、多模态输入、长程自纠错 — togethercompute · 2026-10-16