ALP 编码正式并入 Apache Parquet:压缩比近 zstd 且解码更快
mgill25 · x · 2026-09-23
Apache Parquet 正式引入 ALP(Adaptive Lossless floating-Point)编码,这是一种轻量级浮点编码方案,压缩比接近 zstd,同时解压速度更快、支持随机访问,且对 GPU 和 SIMD 友好。
适用场景:以 FLOAT/DOUBLE 存储的十进制数值,如金融数据(汇率、股价)、地理坐标(经纬度)、科学测量值(温度、压力、速度)等。
不适用场景:指数范围宽或有效位数多的数据,如 vector embeddings——这类数据仍建议用 PLAIN 或 BYTESTREAMSPLIT 编码后接 ZSTD 等通用压缩。
文章还解释了为何系统常用浮点类型存十进制值:Parquet 的 DECIMAL 逻辑类型需预先声明精度与标度,而 pandas 会推断 float64、NumPy 干脆没有 decimal dtype,ALP 正是为填补这一空白而设计。
「Infra」频道最新
- AMD 放出 Helios 机架幕后视频,首集今天上线 — wkmyrhang · 2026-09-24
- NVIDIA 送 Unsloth 一台 DGX Station,团队透露量化与 RL 优化方向 — danielhanchen · 2026-09-24
- Baseten 上线 Nemotron 3 Diarization：单卡支持 500 路实时分离流 — baseten · 2026-09-24
- Unsloth 累计下载破 5 亿,Qwen3.8-27B GGUF 成其最热模型 — danielhanchen · 2026-09-23
- MLSys 2027 开放投稿,Song Han 出任程序委员会联合主席 — songhan_mit · 2026-09-23
- Agentic AI 的存储冲击:数据层成企业部署新瓶颈 — BenBajarin · 2026-09-23