文档提取管道的静默数据丢失及校验方案
TangeloOk9486 · reddit · 2026-08-23
在文档提取（如发票、报表）流水线中，存在一种容易被忽视的静默数据丢失问题：小文件处理正常，但处理大文件时模型会悄悄漏掉部分记录。虽然精度很高（提取出的值都对），但召回率不足，且无报错。
问题表现：
- 仅在下游总数核对时才会发现行数不匹配。
- 漏掉的记录看起来只是文档本身行数较少，极具迷惑性。
解决方案：
- 不要单纯依赖大模型，需引入完整性检查。
- 将文档按切片分块处理，分别提取后合并对比。
- 对比“预期记录数”与“实际返回数”，设置阈值在数量不足时强制报错。
- 可使用 LlamaParse 等工具，并确保返回字段级 grounding 信息以便核对。
「编程与Agent」频道最新
- 教你 5 步用 Claude Code 构建高质量 AI 评估 — petergyang · 2026-08-23
- AI 评估专家：自底向上评估很难，AI 不擅长 — petergyang · 2026-08-23
- Maven 推出课程：手把手教你搭建 AI 代理软件工厂 — intellectronica · 2026-08-23
- Claude Agent Teams 架构解析：Subagent 委托与 Teammate 协作的本质差异 — Alternative-Baby-299 · 2026-08-23
- 要留在能力前沿，AI 代码每半年就得推倒重写 — nptacek · 2026-08-23
- 安全研究员用 Claude 挖掘自己 3 年 AI 对话史 — nptacek · 2026-08-23