开源 RAG Verifier:专查分块截断与引用不实两大盲区

hlcAlex · reddit · 2026-10-23

Reddit 用户 hlcAlex 发布了免费开源的 RAG 验证工具 rag-verifier，瞄准两个常见工具都不管的缺口：分块是否自包含、AI 引用是否真正支撑结论。

• 典型案例：一份合同问答自信地回答「违约金 15%」，但它引用的分块只有结果条款（乙方应支付 15%），触发条件（逾期超 60 天）被切分器切进了上一个分块；用户场景下真实违约金是 0%。LLM judge 只核对「引用逐字存在」就判定通过——两者都错了。
• 规则层：基于正则的确定性检查，捕捉悬空条件句（只有 if 没有 then）、连接词开头（Then/Also/Meanwhile）等结构性标记，在 20 份中英文真实文档（1388 个分块）上零误报。
• LLM 层：做三项判断——引用忠实度（专门检查被引片段是否是缺少触发条件的结果半句）、分块独立性（传入全文+分块，判断分块脱离上下文是否成立）。规则层抓不住语法完整但语义依赖的分块，这是 LLM 层的领地，且必须传入完整上下文才有效。
• LLM 不可用时 fail-open，绝不伪造通过。

提供在线 demo（可粘贴自己的分块实测）与 GitHub 库：https://github.com/hlc0000/rag-verifier

原文链接 →

「编程与Agent」频道最新

• Recursive 发布 Flint 本地编码模型：MacBook 上 125+ tokens/秒，开源权重 — _rockt · 2026-10-23
• 医学生用 Cognee 自建全书 RAG 知识库，单本导入仍卡死机器 — shrike293103 · 2026-10-23
• Prompt 注入扫描器该按位置分级：同句在 description 是致命、在 content 只是高危 — mrpkk · 2026-10-23
• 长时 Agent 项目防回归慢：他提议异步 post-commit 跑测试回注对话 — DuckDatum · 2026-10-23
• 开发者自嘲:只有做不重要的事,才敢放心用 Claude — louisvarge · 2026-10-23
• 被喊死30年的PHP还在：2026年还有俩严重RCE没修 — 0xkarasy · 2026-10-23

更多「编程与Agent」频道 AI 资讯 →