hf-mem 1.0.0 稳定版将至：推理显存估算对齐 vLLM/SGLang
anton_lozhkov · x · 2026-11-10
Hugging Face 员工 alvarobartt 预告 hf-mem 1.0.0 稳定版即将发布：显存估算更精确、元数据读取更快，并新增运行时开销（overhead）估算，与 vLLM、SGLang 的实际表现更对齐。配图给出 Qwen3.8-27B（BF16，max-model-len=32768，batch-size=1）的估算示例：总显存需求 63.26 GiB（参数 51.75 GiB + KV cache 2.30 GiB + 开销 9.22 GiB），在单张 96 GiB GPU 上占用约 71%，最多可支持 262144 tokens。
「Infra」频道最新
- 黑客攻击 AI 基础设施商 Fireworks,客户数据与模型受影响 — annatonger · 2026-11-10
- 模型公司豪掷数十亿买涡轮机，能源正成 AI 竞争新护城河 — TansuYegen · 2026-11-10
- CrossnoKaye 用 Bedrock AgentCore 把 AI 智能体接入工业闭环控制 — AWS ML Blog · 2026-11-10
- Gary Marcus 质问：Nvidia 介入后商务部调查被叫停？ — GaryMarcus · 2026-11-10
- Stratoscope:菜单栏实时监控本地 LLM 推理速度与缓存命中 — LisaMarieJosefine · 2026-11-10
- Claude Fable/Mythos 5.2 现身 AWS Bedrock,定价比 5.1 低 20% — testingcatalog · 2026-11-10