RAG 管道正在吃垃圾 HTML？慎防内容提取静默失败

Ok_Fox_5823 · reddit · 2026-08-31

作者在开发网页内容抓取清洗工具时发现，许多所谓的“干净”提取工具会静默删除真实内容。例如，某库因 CSS 类名包含“sidebar”而直接删除了 MDN 和 Rust 文档站的主要文章块，导致内容为空却不报错。这提醒开发者：如果不人工对比原始 HTML 与提取结果，RAG 系统可能因上游清洗步骤丢失关键上下文，导致所谓的模型“幻觉”实则是数据缺失问题。