Parquet Java 跟进内容定义分块:页边界与 Arrow C++ 完全对齐

lhoestq · x · 2026-10-14

apache/parquet-java 收到 PR #3818,为数据页(data pages)引入内容定义分块(Content Defined Chunking, CDC),与 Parquet C++ 和 parquet-rs 已有的能力对齐。

原理:在内容定义的边界结束数据页,使共享相同值串的文件产生字节级相同的页,从而可被内容寻址存储(如 Hugging Face Xet)去重
这是 Arrow C++/arrow-rs chunker 的移植:复用相同的 gear 表、mask 推导、默认值与切分规则,保证与 C++ 版页边界一致
新增 CdcOptions(默认 min 256 KiB / max 1 MiB / normalization 0),以及 ParquetWriter.Builder 的 withContentDefinedChunking() 等配置项
Iceberg Java 也需要此特性以支持 write.parquet.content-defined-chunking. 表属性;目前为 opt-in 草稿 PR

「Infra」频道最新