微调权重差分压缩工具发布
cupheadgamer · reddit · 2026-07-15
作者发布了 **deltatensors**，一个用于**训练后 delta 压缩**的工具：把微调模型相对 base model 的差分保存下来，只存 diff 并压缩，从而显著减少磁盘占用。 ### 主要思路 - 适用于任意训练后的模型，不限于 LoRA - 默认策略会保留约 1% 的异常权重为 fp16，其余部分做 4-bit 量化 - 支持流式处理，不需要同时载入两个完整模型 - 提供 HF Trainer callback，可在训练时自动把 checkpoint 存成 delta - 还能做 lineage chain，按历史顺序追踪多轮微调 ### 作者给出的结果 - 在 **Qwen2.5-0.5B** 的 WikiText-2 微调上，重建后 PPL 从 19.11 到 19.22，差异约 0.58% - 比把整个微调模型做 int4 量化更省空间，且质量更好 - 单个微调体积从 953 MB 降到 294 MB，约 **3.2x 更小** - 10 个 fine-tune 的总存储从 11 GB 降到 3.9 GB 作者说目前只在 0.5B 模型上验证过，欢迎别人拿 7B+ 或领域微调继续测试。