DataFlow 新 PR:训练数据清洗的断点恢复与坏行隔离方案

Puzzleheaded_Box2842 · reddit · 2026-11-04

Reddit 帖介绍开源数据准备框架 OpenDCAI/DataFlow 的一组社区 PR,针对大规模训练数据清洗中的格式错误、JSONL 坏行和请求超时问题:1) 在格式转换时校验记录,新增 QA、Alpaca、ShareGPT 的准备入口,检查对话结构、工具调用配对和偏好数据字段,错误定位到具体记录与字段;2) 可选隔离格式错误的 JSONL 行,记录行位置与解析错误并继续处理有效记录,是否让坏输入中断运行仍可配置;3) 恢复运行前校验输入、关键配置与历史结果,避免更换数据集或配置后悄悄复用不兼容输出;4) 在超时重试之上记录单个失败请求对应的样本,独立生成/标注任务可只重跑失败样本而非整个数据集。帖子强调「批量恢复」与「样本级重试」是两种需要区分处理的场景。