开源 GGUF 显存计算器可先算上下文内存占用
Dry_Wing_ · reddit · 2026-07-27
作者做了一个开源终端工具，专门在下载模型前估算 GGUF 的显存/内存占用。起因是他遇到模型溢出到系统内存后，推理速度掉到个位数 tokens/s。
这个工具名为 @gisaivan/anvil-advisor，可以在本地计算 系统预留开销、上下文长度占用的 VRAM、以及估算的内存带宽上限，帮助用户先判断模型能不能放得下、值不值得下。
「Infra」频道最新
- Chutes 靠跨洲租卡训练 20B 模型，每小时成本不到 10 美元 — markjeffrey · 2026-07-27
- 有人用 900 美元整机跑出 GLM 5.2 吞吐数据 — naunen · 2026-07-27
- llama.cpp 合并了 Minimax M3 的 MSA 支持 — Time_Reaper · 2026-07-27
- Windows 11 上 ComfyUI 跑通 Sage Attention 和 FlashAttention 2 — Left_of_Laniakea · 2026-07-27
- Baseten 为 GLM-5.2 做出峰值 280 tok/s API — iamrobotbear · 2026-07-27
- 马斯克等巨头力挺开源，AI 竞争的终局在基础设施？ — myllmnews · 2026-07-27