16位模型需60GB显存，4位量化版才塞得进24GB
LeviTurk · x · 2026-08-19
回复中提到，benchmark使用的是16位版本模型，总大小约60GB。只有4位量化版本才能在24GB显存的设备上运行。
「Infra」频道最新
- GitHub 故障报告：网络饱和致服务中断 8 小时 — RealGeneKim · 2026-08-19
- GitLab 推出教程：用 Duo AI 迁移 GitHub 项目 — RealGeneKim · 2026-08-19
- 无速率限制的 Cerebras 端点或将引发生产力不平等 — mayfer · 2026-08-19
- MLPerf Client v2.0 发布：新增图像生成与 Agent 基准测试 — TheKanter · 2026-08-19
- steipete 晒 512GB 内存 Mac Studio:AI 工作站天花板 — steipete · 2026-08-19
- Mac Studio 上 DeepSeek V4 推理提速 12 倍实录 — Adrian_Galilea · 2026-08-19