作者放出 dedup_estimate.py,可复现 Parquet 去重收益测试
lhoestq · x · 2026-11-02
Quentin Lhoëst 公开 gist dedupestimate.py,用于复现其 Parquet 内容定义分块基准测试的数字。
- 脚本通过 DuckDB 将文件 COPY 到 nxet://(借助 nanoxet),对同一数据生成 v1/v2 两个版本,覆盖 append、update、insert 三种编辑类型,固定 SEED=17 保证可复现。
- 与前一条提到的 DuckDB PR #27911 配套,可自行估算编辑场景下经 Xet 去重后的实际存储节省。
所属事件:Hugging Face 工程师用内容定义分块优化 Parquet 存储(2 条相关)→
「Infra」频道最新
- 马斯克：未来超级智能算力将几乎 100% 部署在太空 — elonmusk · 2026-11-02
- 高通展示首代 HBC 芯片：带宽 18 倍于 LPDDR5X，能效超 HBM4 五倍 — ryanshrout · 2026-11-02
- Anthropic 占 SpaceX Q3 营收 34.5%,算力合同总额高达 1205 亿美元 — thione · 2026-11-02
- Oracle 算力扩张至数吉瓦级:同时引入 Google TPU 与竞品推理芯片 — thione · 2026-11-02
- OpenAI 自曝前沿训练因 DNS 逃逸暂停 11 天，加固隔离后恢复 — thione · 2026-11-02
- OpenBMB ForgeKernel:AI Agent 黑盒优化 22 小时,FlashMLA 提升 9.8% — Equivalent-Grass-527 · 2026-11-02