Hugging Face datasets 流式近似洗牌获大幅提速
lhoestq · x · 2026-09-07
Hugging Face datasets 库作者 Quentin Lhoest 感谢 Google Cloud Storage 团队的贡献：数据集流式加载配合近似洗牌（approximate shuffling）时速度大幅提升。新实现将 Arrow 批次先缓冲、拼接，再统一用优化过的 Arrow C++ 操作完成行级洗牌，替代了原先较慢的 Python 侧处理。
所属事件:Hugging Face datasets 流式近似洗牌性能大幅提升(2 条相关)→
「Infra」频道最新
- 韩国平均结婚成本 ≈ 一台 NVIDIA GB300 DGX Station，网友认真质疑婚姻必要性 — alvelda · 2026-09-07
- 16GB MacBook Air M5 跑 Agent：Qwen 9B 4bit 也难产完整应用 — Fluid-Author-9566 · 2026-09-07
- Gary Marcus 质疑 Astra 10 亿美元训练算力账单：scaling 数据已不透明 — GaryMarcus · 2026-09-07
- 算力新贵标准:按节点数算 GPU 才算「GPU 富人」 — capetorch · 2026-09-07
- 开源权重 vs 前沿 API：几百美元微调后每 token 成本骤降 — spilldahill · 2026-09-07
- M3 Max 上实测 Qwen 3.8 27B 与 Qwen Flash Next：体感几乎一致 — Zeeplankton · 2026-09-07