开源 DataFlow:pipeline/operator/prompt 架构搞定 LLM 训练数据加工

Puzzleheaded_Box2842 · reddit · 2026-11-17

作者系统讲解了从「拿到训练数据」到「真正开始训练」之间常被忽视的工程问题:如何把多来源数据加工成训练样本、决定取舍并检查每步处理的影响。

核心架构是把工作流拆成三层:

步骤间接口是带显式输入输出字段的结构化数据——生成器读 text 产出问答字段,评估器加质量分,过滤器按分筛选。中间产物可检查坏样本从哪进入、好样本在哪被误丢。

关键论点:生成、评估、过滤回答的是不同问题,生成不等于正确,打分不等于定阈值;分离后可独立更换评估器或过滤策略。pipeline 还需对齐训练目标——预训练按语料质量筛选、SFT 提取指令-回复对、推理数据要做推理生成/分类/难度估计、Text-to-SQL 要带 schema 上下文;不同任务共享 operator 但用不同序列与验收标准,「高质量」不能跨任务用单一分数。

模型访问独立成组件,可接 API 或 vLLM 本地推理。整套架构已在 GitHub 开源项目 OpenDCAI/DataFlow(SIGMOD'27,9k stars)实现,作者还抛出开放问题:当过滤器删掉大量数据时,用什么证据验证剩下的数据集确实更好?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →