IBM Granite 模型加载后显存占用激增至 27GB
x8code · reddit · 2026-08-26
用户在配备 16GB 显存的 RTX 5060 Ti 上运行 Ollama 的 IBM Granite 4.2 8b 模型。虽然模型文件仅 5.2GB，但加载后显存占用飙升至 27GB，导致无法放入 GPU。用户询问这是否为正常行为。
「Infra」频道最新
- 微软 AI 加速器融合 Scale-out 与 Scale-up 网络 — bookwormengr · 2026-08-26
- WFE 预测 2028 年冲 2500 亿美元，买方预期更激进 — BenBajarin · 2026-08-26
- 迄今最详尽的 ANE 技术论文发布 — pcuenq · 2026-08-26
- 本地 AI 拐点已至：GLM 5.2 等模型配合新硬件成日常 — inductionheads · 2026-08-26
- 中国 AI 公司涌向内蒙古，数据中心缺水成隐忧 — basedjensen · 2026-08-26
- 揭秘材料 Neolab：AI 模型如何将成本削减 10000 倍 — CatAstro_Piyush · 2026-08-26