270 份 PDF、3000 张表:支付合规 RAG 助手检索命中率做到 97%
AI Engineer · youtube · 2026-10-14
AI Engineer 大会上，In The Pocket 的 Eleonora Drykina 与 Nina Žižakić 分享为一家比利时支付客户构建的生产级 RAG 合规助手，语料约 270 份 PDF、6000 页，大量答案藏在表格里。关键工程要点：
- 索引：保留章节路径与 chunk 顺序以便还原大段上下文；表格转 CSV 并保持标题与数值的对应关系
- 检索：稠密检索 + BM25 混合，将 63 个测试问题的命中率从 92% 提到 97%（衡量检索而非最终答案正确性）
- Agent：四个工具逐级扩大搜索范围（结果→章节→全文→多套规则手册），用上下文上限防止超大规则手册灌爆 context，prompt 引导 agent 反思是否需要再调用工具
- 延迟：中位数答案 38 秒，流式输出 Markdown 与来源卡片分离，避免等一个大结构化对象
- 评估：traces、引用检查与 Promptfoo 评估，包括自动裁判显示的「回归」经查证并不成立的案例
早期内部 rollout 34 名用户、约 900 次提问，外部发布仍在计划中。核心经验：可还原的证据、有边界的检索、可见的进度、可对照原文质疑的评估。
「编程与Agent」频道最新
- Weaviate 1.40 引入 PathSeer：动态过滤 ANN 算法，六项生产级测试最快 — CShorten30 · 2026-10-14
- 开发者晒本地 AI 实例审查修 bug 全流程：带「武装围栏」的受控 agent 循环 — HankYeomans · 2026-10-14
- 开源 dot-mcp 给 ChatGPT 装上 shell、文件、记忆和浏览器共 46 个工具 — Visible-Bus-5523 · 2026-10-14
- 本地 GLM 跑通受限作用域 agent 流程：PR 级审查修复全链路实测 — HankYeomans · 2026-10-14
- Claude Code 会话里冒出同事名字,原是多智能体邮件工具命名撞车 — doodlestein · 2026-10-14
- 挖 Qwen 推理轨迹定位 prompt 致病短语,修复后任务遵循更稳 — oleg_ivye · 2026-10-14