HF 工程师 agent 用内容定义分块,Parquet 编辑省 99.7% 存储
lhoestq · x · 2026-11-02
Hugging Face 工程师 Quentin Lhoëst 宣布其 agent 在 DuckDB 中对 Apache Parquet 编辑场景实现了高达 99.7% 的存储节省,方法是给 Parquet 写入器加入 内容定义分块(Content-Defined Chunking),已提交 DuckDB PR #27911(草稿状态)。
- 原理:传统 Parquet 按固定大小切分 data page,编辑一个值会让该列块之后所有 page 边界后移,导致去重上传器(如基于 Xet 的 HF 客户端)要把整个尾部当作新字节上传;CDC 则在内容边界处切页。
- 兼容性:文件仍是标准 Parquet(page 类型、编码不变),任何读取器都能读,唯一区别是每页起始行。
- 用法:DuckDB COPY 语句加 CONTENTDEFINEDCHUNKING true,可配 minchunksize: 262144, maxchunksize: 1048576, normlevel: 0 等参数。
- 在约 150 MB、200 万行、含 64 字符文本列的测试文件上,用 Xet chunker/hasher 实测了 append/update/insert 等编辑场景的去重收益。
所属事件:Hugging Face 工程师用内容定义分块优化 Parquet 存储(2 条相关)→
「编程与Agent」频道最新
- 工程师热议：AI 时代爱工程本身的人最难受 — brada · 2026-11-02
- Claude 自主搭工作流：把马桶原理做成讲解视频 — brada · 2026-11-02
- 用 R 语言搭建 AI 研究助手：三天直播课 12 月开课 — GolinoHudson · 2026-11-02
- 4B 模型生成可用 3D 资产，Qwen3.5 微调版一键导出 GLB 到 Godot — linoy_tsaban · 2026-11-02
- 伯克利博士生提出「遗忘即探索」：agent 记太多会停滞优化 — CShorten30 · 2026-11-02
- VoiceFlip 上线:2-3 分钟为中小企业网站搭全自动语音 Agent — modelcontextprotocol · 2026-11-02