VaeZip 开源:VAE latent 数据集压缩 5-10 倍,几乎不损质量
TensorForger · reddit · 2026-10-17
开发者发布开源库 VaeZip,解决 VAE latent 数据集比原始图像/视频还占空间的问题(JPEG/视频编解码器压缩了原图,而 latent 几乎未压缩)。
核心做法
- 实现 multiple 种专为 VAE latent 设计的量化编解码器,利用空间冗余和 latent 近似正态分布的特性;
- 最优编解码器组合全局/局部 range scaling 与针对样本分布调优的 Lloyd-Max 码本,将数值量化到 2-8 bits 后打包;
- 可做到约 3 bits/value 精度(文件小 10 倍),解码后像素 MSE 仅 0.0003;
- 输出为通用 Safetensors 文件。
验证
- 从对比约 50 种算法、覆盖 8 个图像/视频 VAE 的 benchmark 中选出编解码器(评估重建质量、保真度、空间与 I/O 延迟);
- 用不同编解码器压缩的 latent 预训练小型 T2I flow matching DiT:6 bit 存储的 loss 曲线与 fp32 基线不可区分。
适用场景较窄:latent 数据集大到本地放不下、需昂贵 S3 存储时最有价值。
「Infra」频道最新
- ExecuTorch 成 Zephyr 官方模块,PyTorch 模型可直接部署进固件构建 — PyTorch · 2026-10-17
- AMD 展台展示 OAC 开放加速卡：液冷双宽最高支持 5000W — wkmyrhang · 2026-10-17
- UEFI 写满装不上 Omarchy，作者借 Codex 三小时破解华硕本装机难题 — GuyHachmon · 2026-10-17
- fx v0.0.14 发布：libfx 持久化上线，Agent 会话可跨崩溃恢复 — cramforce · 2026-10-17
- Tailscale 工程师聊 VM 共享文件系统：virtiofs 性能代价高 — davidcrawshaw · 2026-10-17
- NFS 共享文件系统实测：吞吐量腰斩、IOPS 仅剩 20% — zeeg · 2026-10-17