开源 DataFlow:pipeline/operator/prompt 架构搞定 LLM 训练数据加工
Puzzleheaded_Box2842 · reddit · 2026-11-17
作者系统讲解了从「拿到训练数据」到「真正开始训练」之间常被忽视的工程问题:如何把多来源数据加工成训练样本、决定取舍并检查每步处理的影响。
核心架构是把工作流拆成三层:
- pipeline:定义处理步骤序列;
- operator:单一操作(生成样本、精炼答案、质量评估、过滤记录等);
- prompt:为使用 LLM 的 operator 提供指令。
步骤间接口是带显式输入输出字段的结构化数据——生成器读 text 产出问答字段,评估器加质量分,过滤器按分筛选。中间产物可检查坏样本从哪进入、好样本在哪被误丢。
关键论点:生成、评估、过滤回答的是不同问题,生成不等于正确,打分不等于定阈值;分离后可独立更换评估器或过滤策略。pipeline 还需对齐训练目标——预训练按语料质量筛选、SFT 提取指令-回复对、推理数据要做推理生成/分类/难度估计、Text-to-SQL 要带 schema 上下文;不同任务共享 operator 但用不同序列与验收标准,「高质量」不能跨任务用单一分数。
模型访问独立成组件,可接 API 或 vLLM 本地推理。整套架构已在 GitHub 开源项目 OpenDCAI/DataFlow(SIGMOD'27,9k stars)实现,作者还抛出开放问题:当过滤器删掉大量数据时,用什么证据验证剩下的数据集确实更好?
「编程与Agent」频道最新
- 开源自托管 MCP 端点一次接入 38 种数据库,只读且凭据不出服务器 — Green_Competition_21 · 2026-11-17
- 开源播客工具 SubCast:双语字幕逐句对照,AI 精读一集约一角钱 — vista8 · 2026-11-17
- 「英语本就该是终极编程语言」:一句推文戳中 AI 编码时代神经 — tlakomy · 2026-11-17
- MultiHopper 推出 Swarm for Hire:给 AI agent 设预算上限的钱包管控方案 — EnigmaFund · 2026-11-17
- 用 Claude Code 做出 20 关 3D 丛林跑酷 Roarway,浏览器直接玩 — vinishkapoor · 2026-11-17
- 7MHz 的 68000 跑大模型:TINY 2.1 成功移植到原装 Amiga 500 — azhadron · 2026-11-17