Hugging Face 发布 datatrove 0.10.0：支持 HF Jobs 流水线，无需 Slurm 集群
vanstriendaniel · x · 2026-08-14
Hugging Face 开源的数据处理库 datatrove（用于构建 FineWeb、FineWeb2、FinePDFs 等数据集）发布 0.10.0 版本。主要更新包括：
- JobsPipelineExecutor：支持在 Hugging Face Jobs 上运行流水线，具备扇出、多阶段依赖、重试和恢复功能，无需 Slurm 集群。
- HF 存储桶作为 DataFolder：可直接读写和记录到 hf://buckets/... 路径。
- 推理结果保留推理输出：在推理结果中保留 reasoning 输出。
安装命令：pip install datatrove[io,processing]。
该项目在 GitHub 上已有 3.3k star，旨在提供平台无关的大规模文本数据处理流水线，支持本地和 Slurm 集群运行。
「Infra」频道最新
- RSI 将进入企业：前沿模型训练专用任务模型，基础设施需求巨大 — morgymcg · 2026-08-14
- Agentic AI 热度降温，但基础设施投资仍在攀升 — YvesMulkers · 2026-08-14
- 用 Agent 自动生成财报研报：Cloudflare 实例揭示 AI 流量拐点 — draecomino · 2026-08-14
- Cerebras部署3T模型需68芯片与1.5MW功耗 — zephyr_z9 · 2026-08-14
- 斥资万亿美元搞基建，只为解百万奖金数学题？ — suchenzang · 2026-08-14
- Intel 联手 MiniMax 发布 MXFP4 量化模型，FP4 基准测试登顶 — HaihaoShen · 2026-08-14