数据准备即架构：微调与 RAG 共用的六步数据处理管线
Puzzleheaded_Box2842 · reddit · 2026-10-19
作者提出：无论微调还是搭 RAG 应用，原始数据很少直接可用——文档有抽取残留、字段不一致、生成样本可能重复或含无依据答案。训练需要合适样本，检索需要可用段落，但准备工作可以共用同一套基础设施。
推荐把数据准备拆成可复用组件的六步架构：
- 规范化输入：把文档/JSON/JSONL/CSV 解析为带显式内容字段的记录，并携带来源标识以便追溯。
- 每个算子单一职责：清洗、分块、生成、评估、过滤各自独立，定义输入输出字段，可单独替换。
- 模型访问与处理逻辑分离：生成和评估通过统一 serving 接口调用本地模型或 API，可换后端不动管线。
- 便宜规则先行，贵检查靠后：先做去空、空白规范化、长度检查，再做去重（精确/近似）和模型评估。
- 从同一份准备数据构建不同产物：微调流生成 instruction-response 对并打分；RAG 流产出清洗后的索引段落，QA 对另用于评估。
- 存储中间结果：可审查每步删改了什么，调整后续阶段时复用早期结果，解析/生成成本高时尤其有用。
核心工程收益是能看清改动的影响：哪些记录被删、生成器加了什么、新阈值如何改变最终数据集。作者称已在开源项目 OpenDCAI/DataFlow 中实现该「算子-serving-存储」架构。
「编程与Agent」频道最新
- 开发者一天用 Rust 手写 KVM 级 microvm，单 vCPU 已跑通 — Abhishekcur · 2026-10-19
- 每个产品都在变基础设施：Agent 时代的「infra + infra」产品观 — aishashok14 · 2026-10-19
- 20 人小公司养上千个 AI 老人反诈，累计拖延骗子合计 17 年 — FuSheng_0306 · 2026-10-19
- 开发者称 Sol 6.1 与 Opus 5.5 日常任务差距明显 — jdjohnson · 2026-10-19
- Opus/Sonnet 5.5 时代还用 Superpowers 吗?开发者热议编码工作流 — That_Ad_765 · 2026-10-19
- 开发者晒账单：用 Claude Code 24 小时烧掉 10 万美元 — dscape · 2026-10-19