pigzpp：C++ 重写实现快 50 倍的全栈并行压缩库
jedisct1 · x · 2026-08-27
论文介绍了 pigzpp，这是一个对广泛部署的 pigz 并行 gzip 工具进行的从零开始的 C++23 重写版本。
- 设计重构：原版 pigz 拥有进程全局可变状态，并非可重入或可直接嵌入的库。pigzpp 将其转变为线程安全库，并暴露一个加速的 DEFLATE 核心。
- 多语言支持：该核心支持 C++、Python、WebAssembly、Go 和 Rust。作为应用级便利工具，它还提供了多入口 ZIP 归档和快速 PNG 编解码器。
- 性能提升：
- 使用便携的 zlib-ng 后端保持 gzip/zlib 的压缩比。
- 使用 Intel ISA-L 后端（仅 x86-64）作为快速路径，虽然在第 6 级别产生约 10% 的更大输出，但在文本语料库测试中，zlib-ng 达到了 pigz CLI 吞吐量的 2.1 倍，Python 内存 gzip 的 16 倍；ISA-L 则分别达到了 8.5 倍和 50 倍。
- 兼容性：输出符合标准，可与 gzip、pigz 和 unzip 跨平台解码。
该项目是一个自包含的多平台压缩栈，也是在自动化兼容性测试下 AI 辅助现代化的案例研究。
所属事件:微软开源 pigzpp：C++23 打造快 50 倍并行压缩工具(2 条相关)→
「Infra」频道最新
- Weaviate 推出 effort 参数，可调搜索精度与算力成本 — CShorten30 · 2026-08-27
- 如何控制多 Agent 系统的 Token 消耗？ — souvlakee · 2026-08-27
- 企业 Agent AI 推理月均花费超 11 万美元 — perilli · 2026-08-27
- 为何不尝试 1 平方公里分布十亿个计算单元？ — NickPassig · 2026-08-27
- 实测本地全量运行 Kimi K3 (2.8T) 的方案 — carrigmat · 2026-08-27
- Wolfe 预测谷歌明年算力达 21GW，与英伟达合计 45GW — zephyr_z9 · 2026-08-27