DuckDB 异步 I/O 显著提速:HF 数据集读取快 2-3 倍
vanstriendaniel · x · 2026-09-02
DuckDB 新增的异步 I/O 功能大幅提升了数据集读取速度。在 8 vCPU 的 Hugging Face Job 上过滤 FineWeb-Edu 样本,耗时从 7.8 分钟降至 3.3 分钟。Parquet 扫描速度提升 2-3 倍,笔记本端达 3.6 倍。该功能将于今年秋季随 DuckDB 2.0 发布,目前可通过 nightly 构建版本试用。
「Infra」频道最新
- AI 如何赋能能源基础设施:预测维护与数字孪生 — ingliguori · 2026-09-02
- NVIDIA 助力 MiniMax H3 视频生成提速 27 倍 — DavidmComfort · 2026-09-02
- 沙特 HUMAIN 携手 Minio,共建 AI 原生数据基础设施 — HUMAIN · 2026-09-02
- 做本地 AI 视频生成,64GB 统一内存够用吗? — KaiwenKHB · 2026-09-02
- Deepseek Flash 模型部署时出现死循环和乱码 — Best_Sail5 · 2026-09-02
- 卫报:数据中心遭欧洲抵制,欧盟寻求绿色方案 — nordicinst · 2026-09-02