实测 RTX 3060 12GB 上 Qwen3.5 与 Gemma4 真实显存占用,并做了免费计算器

sdatta11 · reddit · 2026-11-20

作者用 LM Studio(llama.cpp CUDA)、Q4KM 量化、全量 GPU offload 实测了多款模型的显存占用与速度,并据此做了一个浏览器内免费模型适配计算器(误差 <1%)。

实测数据(4K/16K/32K 上下文):

两个有意思的发现:

计算器内置 54 张桌面/移动 GPU,按 Q4/Q5/Q8/FP16 估算约 40 个模型能否跑进显存(权重 + 全注意力层 KV cache + 0.6GB 运行时),并直接给出最大的可运行模型的 ollama 命令,免注册、纯前端。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →