$16 生成 3.5 万条合成数据：datatrove 上 HF Jobs 实战

vanstriendaniel · x · 2026-08-18

Hugging Face 的 Daniel van Strien 发布首个用 datatrove 做合成数据生成的教程。背景：datatrove 0.10.0 新增 Jobs backend——可在 HF Jobs 上跑 pipeline（fan-out、多阶段依赖、重试、断点续跑，无需 Slurm 集群），并支持 hf://buckets/ 作为读写目录、保留推理的 reasoning 输出。实战：用 Qwen3.8-27B-FP8 作教师模型，对 Hub 上约 3.6 万张模型/数据集卡片生成「tl;dr」摘要训练数据，用于微调小型摘要模型（卡片摘要也被验证比原始卡片更适合做嵌入检索输入）。整个数据集一个下午跑完，总成本约 15.58 美元，全程无需本地 GPU。工作流采用 calibration-first 策略并支持输出长度控制。