DeltaTensors 给微调模型做增量存储:953MB 压到 294MB
cupheadgamer · reddit · 2026-09-22
开源工具 DeltaTensors 像 Git 一样管理模型微调版本,但只存相对基座模型的权重差值而非完整副本。多个微调/checkpoint 只需保留一份基座,每个版本存一个更小的 .wdelta 文件。
- 实测:Qwen2.5-0.5B 的一个微调从 953MB 压到 294MB,重建后困惑度从 19.11 变为 19.22。
- 训练后处理即可,无需改用 LoRA 或改变微调方式,已有全量微调可直接压缩。
- 支持链式增量做版本历史、Hugging Face Trainer checkpoint,以及流式压缩/重建,不必同时加载两个完整模型。
仓库:AaravGaurdev/deltatensors。
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12