本地模型加RAG更准
Spiritual-Market-741 · reddit · 2026-07-08
作者测试了本地 LLM 回答技术问题的准确性，结论是：不接 RAG 时表现一般，但接入 RAG 后效果明显更好；“思考”模式帮助不大，却显著拖慢速度。 实验流程包括：从 Node、LangChain.js、TypeScript、transformers.js、Vue 等 GitHub 项目下载文档，使用 deepseek-v4-flash 生成选择题，再用 unsloth gemma QAT 模型分别在无检索、带正确文档、以及自建 RAG 系统下进行对比评测。作者还提到后续实验加入了 Apple Intelligence 和 Qwen 模型。