为什么每个LLM应用最后都变成了数据清洗项目？

Worried-Variety3397 · reddit · 2026-08-11

一位开发者在 Reddit 上吐槽，表示搭建 LLM/Agent 逻辑往往很快，但处理真实文档（如 OCR、分块、元数据提取、校验脏乱的 PDF）却耗费了大量精力。

为了解决这个痛点，作者正在探索一种新方案：直接丢入原始非结构化数据，用自然语言定义处理规则和目标格式（例如“按章节分块，保留版本元数据，输出干净的 JSON”），让系统自动完成数据的清洗与结构化。此贴引发了社区对 RAG 数据预处理工作流的共鸣与讨论。