Hugging Face datasets 5.2.0 发布:图像音视频流式解码大幅提速

lhoestq · x · 2026-11-10

Hugging Face 核心开发者 lhoestq 宣布 datasets 5.2.0 发布,流式读取时新增并行解码,图像/音频/视频等文件夹数据集的流式解码速度显著提升。其他更新包括:3D Mesh feature 与 meshfolder builder 支持 .gltf 文件;Features.setitem/delitem 只更新被触碰的列;修复 pushtohub 在 numproc 超过 numshards 时丢行的问题;拒绝重复的 WebDataset 字段而非静默覆盖;修复 splitdatasetbynode 后 concatenatedatasets 每 rank 拿到全部数据的 bug;移除 aiohttp 依赖等多项修复。