RAG 实战：小模型配合优质检索管道，准确率达 84-98%

Lower-Impression-121 · reddit · 2026-08-25

作者正在构建一个通用的文档 RAG 系统，基于 80 年代复杂的兵棋/桌面游戏规则进行训练，并使用 BoardGameGeek 论坛帖子作为测试集。

主要发现：

检索管道是关键：在早期运行中，复杂问题的解决速度很快，分数提升明显。单个问题的得分能从 33% 跃升至 90% 以上。
弱模型表现不俗：使用本地的 8B 或 14B 小模型，虽然速度受限于硬件（机器配置较低），但准确率很高。这说明摄取和检索管道承担了大部分工作。大模型虽能提升速度和回答的紧凑性，但对于准确率并非必需。
领域理解至关重要：旧规则文档通常有严格的层级结构和交叉引用（如 xx.xx 标记），非常适合将其切分并建立索引。作者使用了共现图来加强节点间的连接。
查询处理：用户提问方式多变，检索管道需应对各种语法和填充词。作者使用了假设性文档嵌入来应对语法差异并将查询与目标绑定。

结论：不一定要依靠暴力提升模型尺寸，通过深入理解领域知识（文档结构和用户查询方式）并设计合理的系统架构，配合大量真实世界测试用例，就能构建出高质量的生产级 RAG 系统。

「编程与Agent」频道最新