7B 模型显存速算：FP16 约 14GB，INT4 仅 3.5GB
cneuralnetwork · x · 2026-10-28
@cneuralnetwork 分享判断「模型能否塞进我的 GPU」的简化算法：权重显存 ≈ 参数量 × 位数 / 8。
- 以 7B 模型为例：FP16 约 14 GB、INT8 约 7 GB、INT4 约 3.5 GB
- 但权重之外还有 KV cache、激活值和运行时开销，取决于上下文长度与 batch size
- 结论：模型塞得进显存不等于能流畅运行，务必留出余量
「Infra」频道最新
- 长鑫 HBM3E 两个月内小批量投产,良率仅20%性能接近上代 — zephyr_z9 · 2026-10-28
- 视频转写成本曝光：GPU 识别每小时不到一块钱 — huangyun_122 · 2026-10-28
- Seymour Cray 讲砷化镓:Cray-3 用裸芯片金线互连浸没冷却 — jwt0625 · 2026-10-28
- 裸片+金柱互连+浸没冷却：一款被遗忘的超级计算机设计 — jwt0625 · 2026-10-28
- Reddit 预测明年 GPU 将大降价：算力泡沫正走向破裂 — sayamss · 2026-10-28
- Karpathy 力荐：从单个晶体管讲到完整 CPU 的科普视频系列 — blaizedsouza · 2026-10-28