把数据工程思想搬进 AI 系统:DAG、血统、增量处理一个都不能少

LangChain · x · 2026-10-07

JoshARosen 提出:构建 AI 系统应该更多借鉴数据工程几十年积累的方法论,包括:用 DAG 质疑「是否真需要一整个巨型 agent 循环」;用 Lineage 记录哪些数据源、artifact、prompt 和模型版本产出了结果;变更检测——源变了哪些产物过期;增量处理——哪些可以保留而不必重跑整个 agent;ETL 式管理上下文注入与结果存储。

casparbr 指出 LangChain 技术栈正在落地这套思路:LangGraph 提供控制力,traces 提供完整运行血统,context hub 做技能与指令版本管理,deepagents 内置持久化执行并自动管理上下文窗口。