30B 模型推理要多少显存?量化后可从 120GB 压到 15GB
ashishllm · x · 2026-09-24
针对「30B 参数模型推理需要多少内存」这道面试题,作者给出简易估算方法:
- 每 1B 参数的显存占用:32 位全精度 4GB、16 位半精度 2GB、int8 1GB、int4 0.5GB
- 因此 30B 模型:全精度约 120GB,半精度 60GB,int8 30GB,int4 仅 15GB
这就是量化能把 32 位模型的内存需求从 4GB/1B 压缩到 500MB/1B 的原因。作者感叹很多想当 AI 工程师的人对这个基础概念没有掌握。
「Infra」频道最新
- Oracle 就新墨西哥数据中心发出不可抗力通知,AI 算力链生变 — AIFlow_ML · 2026-09-24
- WSJ：头部五家 2029 前 AI 资本开支将达 4.2 万亿美元，超铁路电信总和 — annbordetsky · 2026-09-24
- 150M 参数 BDH 模型挑战 Transformer：潜空间推理对话 Pathway CEO — bigdata · 2026-09-24
- stable-diffusion.cpp 纯 C/C++ 推理扩散模型,已支持 Z-Image 与 Wan — leejet · 2026-09-24
- NVIDIA 开源 Model-Optimizer:量化蒸馏剪枝一站式压缩推理模型 — NVIDIA · 2026-09-24
- 12GB 显存本地跑 Qwen-Image 2.1,开源工具实测对比 GPT 输 4:11 — Sg1000deping · 2026-09-24