实测 RTX 3060 12GB 上 Qwen3.5 与 Gemma4 真实显存占用,并做了免费计算器
sdatta11 · reddit · 2026-11-20
作者用 LM Studio(llama.cpp CUDA)、Q4KM 量化、全量 GPU offload 实测了多款模型的显存占用与速度,并据此做了一个浏览器内免费模型适配计算器(误差 <1%)。
实测数据(4K/16K/32K 上下文):
- Gemma 4 E4B:4.51→5.01 GB,74 tok/s
- Qwen3.5 9B:6.66→7.63 GB,54 tok/s
- Qwen3.8 27B:放不下,GPU 上 9.5 GB 其余进内存,5.4 tok/s
两个有意思的发现:
- Qwen3.5 这类混合架构几乎不随上下文增长:32 层里只有 8 层保留 KV cache(其余是线性注意力),约 0.034 GB/1K token,同等规模 Qwen2.5 式 7B 约为其两倍,Gemma 2 9B 则是它的 10 倍。
- Gemma 4 E4B 名义 8B 参数,但约 2.8B 是逐层 embedding,被 llama.cpp 放进系统内存,所以实际显存比参数量暗示的更省。
计算器内置 54 张桌面/移动 GPU,按 Q4/Q5/Q8/FP16 估算约 40 个模型能否跑进显存(权重 + 全注意力层 KV cache + 0.6GB 运行时),并直接给出最大的可运行模型的 ollama 命令,免注册、纯前端。
「Infra」频道最新
- Gemini Ultra 每月 1000 点 Colab 算力:约合 55 小时 H100 — iskander · 2026-11-22
- Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量 — douglovefishing12 · 2026-11-22
- SpaceX 拟射 400 亿美元 AI 芯片上太空,贷款方因抵押品无法追回而反对 — flngr · 2026-11-22
- Mac 刘海里塞进本地语音助手:4B 模型 0.43 秒开口 — KungFuSaifooo · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22