Datasets 5.1 补充更新:流式数据集新功能并修复 shuffle 分片 bug

lhoestq · x · 2026-10-05

作者补充说明 Datasets 5.1 还包含流式(streaming/iterable)数据集的新功能,并修复了在 shuffle 流式数据集时分片数量(number of shards)不正确的 bug(由 @yuchenwang03 贡献)。对依赖流式加载大规模数据的用户是实用修复。

所属事件:Hugging Face Datasets 5.1 发布:新增 Vortex 与生物分子格式(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →