PDF 解析毁掉 RAG 效果？转 Markdown 省 40-65% 算力

Training_Anybody5754 · reddit · 2026-08-19

RAG（检索增强生成）系统中，PDF 解析质量常被忽视，却是性能瓶颈。作者发现，糟糕的解析器会打乱阅读顺序、压扁表格、重复页眉页脚，导致模型嵌入垃圾数据。

实践表明，先将文档转为干净的 Markdown 再切块，能显著提升检索效果。令人惊讶的是，去除重复的页面装饰元素后，Token 数量减少了约 40-65%，直接降低成本。作者正在权衡解析精度、Token 数量和速度之间的平衡，并呼吁更多人量化解析器质量对 RAG 最终表现的影响。