新开源模型权重大小盘点:Q4 量化约 20.8GB,24G 卡可跑
AIFlow_ML · x · 2026-10-26
AIFlowML 分享了某新开源模型的权重大小估算：BF16 全精度约 66 GB；Bartowski 的 GGUF 量化版本中 Q4KM 约 20.8 GB、Q5KM 约 25 GB、Q80 约 35 GB。这意味着单张 24 GB 显卡即可装下 Q4 权重，还能留出空间跑短上下文。
所属事件:MiniMax 新开源模型显存需求实测：Q4 量化 20.8GB 可跑 24G 卡(2 条相关)→
「Infra」频道最新
- Matthew Berman:图/视频/语音生成已足够好,可以本地跑了 — MatthewBerman · 2026-10-26
- Reddit 热议：AI 编程 Agent 为何难以像 Stable Diffusion 那样本地运行 — Kaporalhart · 2026-10-26
- Vjeux 参加 Muse 开放 kernel 挑战赛，多题被 colinlikescode 压制 — Vjeux · 2026-10-26
- 新论文:KV cache 卸载 SSD 会把闪存寿命从年缩到月,按注意力类型分级可延寿 7.3 倍 — ThePrimeClock · 2026-10-26
- Gary Marcus 公开押注：CoreWeave 本周会跌破 40 美元吗 — GaryMarcus · 2026-10-26
- Resin 开源推理运行时:让 AI 自动写前向传播生成定制推理引擎 — andersonbcdefg · 2026-10-26