用 zram 给模型权重卸载扩容?压缩带宽或成推理热路径瓶颈
Agreeable_Return2632 · reddit · 2026-09-27
一位在 i5-14400 + RTX 4070 + 32GB 内存上用 ComfyUI 跑 MiniMax H3 的用户考虑用 zram 扩展可卸载权重占用的有效内存:以 zstd 压缩 fp16 权重估算约 1.3-1.4 倍压缩比(权重熵接近随机,远低于文本的 2-4 倍),可多出约 10-15GB 有效容量。
但作者自己指出关键疑点:卸载层在前向传播中每次都要读取,解压缩将持续发生在热路径而非一次性成本;内存带宽约 35-50GB/s,而 zstd 解压并行后也只有约 5-10GB/s,实际减速可能吃掉扩容带来的收益。作者向社区求证是否有人在 ComfyUI 等推理管线中实测过 zram 权重卸载。
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元,锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器:24GB 显存可训 27B 模型,权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11