hf-mem v1.0.0 发布:一条命令估算模型推理显存,无需下载权重
SergioPaniego · x · 2026-11-17
Hugging Face 员工 Alvaro Bartolomé 发布 hf-mem v1.0.0,可为推理场景估算显存占用,无需拉取模型权重。工具覆盖权重、KV cache 与运行时开销,支持 Safetensors、GGUF 与 ONNX 格式,通过 HTTP range requests 只读取必要元数据,仅依赖 httpx2。
用法如截图所示:uvx [email protected] Qwen/Qwen3.8-27B --max-model-len 32768 --gpu-memory 96,即输出各项显存明细(如 Qwen3.8-27B 共需 63.26 GiB:参数 51.75 GiB、KV cache 2.30 GiB、开销 9.22 GiB),并判断目标 GPU 是否放得下。也可作为 agent 的工具使用。
「编程与Agent」频道最新
- YC 新秀 CoverAgents 获 90+ 保险经纪采用,邮件 3 分钟出全渠道报价 — ycombinator · 2026-11-17
- 开源工具 REQL 用代码图谱为编程 Agent 降 token 消耗 — cl0wnfire · 2026-11-17
- Figma MCP 实战:用 Claude 直接在 Figma 文件里生成设计与原型 — Tegadesigns · 2026-11-17
- 自主研究 Agent 工具 Arkenos 发布 v0.6.12,主打免看管长任务 — _AustinCalvert_ · 2026-11-17
- Cloudflare 一周上线多项更新:Kitesurf 浏览器引擎开源 — ritakozlov · 2026-11-17
- Kaggle 首期访谈:SWE-bench 作者谈如何打造有影响力的评测 — OfirPress · 2026-11-17