Hugging Face datasets 流式近似洗牌性能大幅提升

Hugging Face datasets 库作者 Quentin Lhoest 宣布，数据集流式加载配合近似洗牌（approximate shuffle）获得大幅提速，并感谢 Google Cloud Storage 团队的贡献使这一改进成为可能。该优化将惠及需要在大规模数据集上进行流式训练的用户，提升数据加载效率。

2026-09-07 ~ 2026-09-07 · 2 条相关

• Hugging Face datasets 流式近似洗牌获大幅提速 — lhoestq · 2026-09-07

另有 1 条近重复转述:lhoestq