开源无损模型权重压缩器:微调包最高压到原大小 0.1%
overdoingism · reddit · 2026-10-23
作者用 Claude 研究并开发了 OverCompressing,一个针对模型文件夹(safetensors、GGUF 等)的无损归档器,每个文件恢复后都经 SHA-256 逐位校验。
压缩原理
- 浮点权重(BF16/F16/F32/FP8):把每个权重的指数位拆到独立字节平面做熵编码,近乎随机的尾数字节保持原样——实现自 IBM ZipNN 论文的字节分组思想(通用压缩器抓不到跨字节的指数位)。
- 微调模型:按张量名与基座模型逐张量存 delta(不同分片/文件布局也能匹配),基座作为小型上下文熵编码器的预测器,并从归档内已有模型中自动选取。
- 相同文件(tokenizer、配置、重复上传)只存一份。
实测(全部还原校验过)
| 内容 | 体积对比 |
|---|---|
| 单个 BF16 模型(Qwen2.5 0.5B/7B)| 66.4%(zstd -19 约 75.9%)|
| Instruct 作为 Base 的 delta | 44%(0.5B)、30%(7B)|
| 社区微调(RL、去审查、重传)| 0.1–5% |
| 测试包:6 个 Qwen2.5 仓库 34.3 GiB | 17.2 GiB(50.1%)|
已量化 GGUF 单独压缩效果有限(95–99%),量化微调对量化基座则可达 65%。
使用形态:pack 文件夹用于日常增删改(文件跨模型共享),.oczip 单文件只读格式用于冷存储。纯 Python 3.13 + NumPy + zstandard,无需 GPU/PyTorch;8 核桌面压 7B BF16 约 1.5 分钟、恢复约 30 秒,delta 较慢(7B 约 5.5 分钟)。MIT 开源,Windows 已测,Linux 独立验证。
「Infra」频道最新
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23
- Linux 内核用 AI 辅助检测 AMD Zen CPU 微架构 — Fcking_Chuck · 2026-10-23