魔搭开源 EntroPack:任意码率模型量化,Qwen-Image 显存误差减半
量子位 · wechat · 2026-11-19
魔搭团队开源了全新模型权重压缩方案 EntroPack,跳出固定 4bit/8bit 档位,通过信息熵调控实现量化码率的精确可控。
- 原理:格量化(E8 格点)+ entropy-coding,将码率控制转化为信息熵调控;几何二分搜索量化尺度,最多 12 次迭代收敛;解码用融合 CUDA 内核实现 GPU 并行
- 精度:相近码率下权重重建误差低于 NF4、FP8、INT8;支持逐行率失真优化
- 极限压缩:Z-Image-Turbo 混合量化至 2.3bpp,体积降 7 倍仍保留主要细节
- 贴合显存:Qwen-Image-2.1 在 10GB 预算下用 4.8bpp 将重建误差从 NF4 的 9.4% 降至 4.26%
- 二次压缩与训练:可对 INT8 权重再压缩(MOSS-Image 单图推理加速近 2 倍);接入 ms-swift,Qwen3-27B LoRA 微调显存峰值从 25GB 降至 19GB,24GB 消费卡可跑
- 代码、论文与多款预量化权重均已开源
「Infra」频道最新
- 一条 EBS gp3 命令让 Weaviate 千万向量索引查询性能提升 26 倍 — philipvollet · 2026-11-19
- The Information 起底 Megaspeed 调查:2022 年英伟达牵线阿里租卡或涉刑案 — kevinnbass · 2026-11-19
- 研究者公开求借 GPU:校内集群卡死,仅剩约 18 GPU 小时跑不完 — vxnuaj · 2026-11-19
- 6GB 显存本地跑 MiniMax H3:优化后 50 分钟,默认工作流 6.5 小时 — No_Cow26 · 2026-11-19
- OVH 发布欧洲自研开源模型 Olala mini:7B 稀疏架构可纯 CPU 运行 — jedisct1 · 2026-11-19
- 27GB 就能本地装下维基百科?tufulabs 用神经压缩实现 tufazip — Terminator857 · 2026-11-19