hf-mem v1.0.0 发布:一条命令估算模型推理显存,无需下载权重

SergioPaniego · x · 2026-11-17

Hugging Face 员工 Alvaro Bartolomé 发布 hf-mem v1.0.0,可为推理场景估算显存占用,无需拉取模型权重。工具覆盖权重、KV cache 与运行时开销,支持 Safetensors、GGUF 与 ONNX 格式,通过 HTTP range requests 只读取必要元数据,仅依赖 httpx2。

用法如截图所示:uvx [email protected] Qwen/Qwen3.8-27B --max-model-len 32768 --gpu-memory 96,即输出各项显存明细(如 Qwen3.8-27B 共需 63.26 GiB:参数 51.75 GiB、KV cache 2.30 GiB、开销 9.22 GiB),并判断目标 GPU 是否放得下。也可作为 agent 的工具使用。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →