开源无损压缩器 foldz 专压 GGUF,9 个模型平均再省 8.66%

Simpli-curious · reddit · 2026-11-13

Reddit 用户发布首个开源项目 foldz:一个专为 GGUF 模型文件设计的无损压缩器,单 C 文件实现、无依赖、Apache 2.0 协议。

原理:通用压缩工具对量化权重几乎无能为力(数据近乎随机),foldz 则解析 GGUF 结构,把量化块还原为真实数值与 scale,再用自适应概率模型编码。对 4-bit 数值,作者用 XOR 把取值范围上半段折叠到下半段,使每个值只需 3 bit;折叠标记位本身高度可预测,改用概率模型编码——省空间正是来自这里。Q6K、Q80 和 float 张量各有专属上下文模型,其余走字节级模型。解压后与原文件逐字节一致,可正常用于 llama.cpp、Ollama、LM Studio。

实测:9 个 Q4KM 模型全部往返校验通过,整体 16.7 GiB → 15.2 GiB,平均省 8.66%;其中 Qwen3-4B 压缩最多(12.94%),Llama-3.2-3B 最少(7.55%)。

限制:压缩/解压速度约 19 MiB/s(手机上测得),推理不会变快;IQ quants、Q2K、Q3K、Q40 收益很小;尚未与 zstd/xz 对比;格式未到 1.0 可能变动。作者全程在手机上开发测试,C 实现由 AI 编写,并公开征求其他量化类型测试与 decoder 模糊测试。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →