DuckDB 异步 I/O 显著提速:HF 数据集读取快 2-3 倍

vanstriendaniel · x · 2026-09-02

DuckDB 新增的异步 I/O 功能大幅提升了数据集读取速度。在 8 vCPU 的 Hugging Face Job 上过滤 FineWeb-Edu 样本,耗时从 7.8 分钟降至 3.3 分钟。Parquet 扫描速度提升 2-3 倍,笔记本端达 3.6 倍。该功能将于今年秋季随 DuckDB 2.0 发布,目前可通过 nightly 构建版本试用。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →