Delta Compression Tool for Fine-Tuned Weights Released
cupheadgamer · reddit · 2026-07-15
作者发布了 deltatensors，一个用于训练后 delta 压缩的工具：把微调模型相对 base model 的差分保存下来，只存 diff 并压缩，从而显著减少磁盘占用。
主要思路
- 适用于任意训练后的模型，不限于 LoRA
- 默认策略会保留约 1% 的异常权重为 fp16，其余部分做 4-bit 量化
- 支持流式处理，不需要同时载入两个完整模型
- 提供 HF Trainer callback，可在训练时自动把 checkpoint 存成 delta
- 还能做 lineage chain，按历史顺序追踪多轮微调
作者给出的结果
- 在 Qwen2.5-0.5B 的 WikiText-2 微调上，重建后 PPL 从 19.11 到 19.22，差异约 0.58%
- 比把整个微调模型做 int4 量化更省空间，且质量更好
- 单个微调体积从 953 MB 降到 294 MB，约 3.2x 更小
- 10 个 fine-tune 的总存储从 11 GB 降到 3.9 GB
作者说目前只在 0.5B 模型上验证过，欢迎别人拿 7B+ 或领域微调继续测试。
More from Infra
- China’s AI arms race is increasingly defined by chips, data centers, and open models — BenBajarin · 2026-07-22
- Agent search bottlenecks are now about variance, not raw latency — rohanpaul_ai · 2026-07-22
- Gavin Baker argues Nvidia may be one of open source AI’s biggest supporters — GavinSBaker · 2026-07-22
- AI Power Demand Exposes US Energy Gap, Urging Shift from Scarcity to Abundance — bradneuberg · 2026-07-22
- Gavin Baker says Nvidia’s $630B figure would be system revenue, not all Nvidia’s — GavinSBaker · 2026-07-22
- A Firecracker-based platform says it can host 6,000 AI agents on one 256 GB server — maritime_sh · 2026-07-22