Hugging Face 工程师用内容定义分块优化 Parquet 存储

Hugging Face 工程师 Quentin Lhoëst 宣布,其 agent 在 DuckDB 中针对 Apache Parquet 编辑场景,采用内容定义分块技术实现了高达 99.7% 的存储节省。他随后公开了 gist 脚本 dedupestimate.py,可供他人复现该 Parquet 去重基准测试的数字,脚本基于 DuckDB 处理文件,方便社区验证与复用这一成果。

2026-11-02 ~ 2026-11-02 · 2 条相关

• HF 工程师 agent 用内容定义分块,Parquet 编辑省 99.7% 存储 — lhoestq · 2026-11-02
• 作者放出 dedup_estimate.py,可复现 Parquet 去重收益测试 — lhoestq · 2026-11-02