DocETL 开源:用 AI 搭建文档级 ETL 与数据处理流水线

mdancho84 · x · 2026-11-14

数据科学家 Matt Dancho 介绍了开源 Python 库 DocETL,定位是「面向智能体数据处理与 ETL 的 AI 库」。

从配图看,其工作流分三步:定义数据与流水线 → 优化(自动改进 prompt 与操作)→ 执行;配套的 DocWrangler 界面可直接对文档(如医疗问诊记录)定义 map 操作与输出 schema,逐条生成摘要并可视化输出分布,单次运行成本约 $0.04。适合需要把大量非结构化文档批量转成结构化数据的场景。