Hugging Face 支持 NVFP4 内核，大模型显存占用大降

Hugging Face 新增了对 NVFP4 量化格式内核的支持，该格式在降低大模型显存占用方面效果显著。以 Muse Glimmer 模型为例，采用 NVFP4 量化后，显存占用从 59.62 GB 降至 23.07 GB，降幅达 61%，大幅降低了部署大模型的硬件门槛。

2026-08-21 ~ 2026-08-22 · 2 条相关

• Hugging Face 新增 NVFP4 内核支持，显存占用降 61% — ariG23498 · 2026-08-21
• NVFP4 量化将大模型显存占用降低 61% — RisingSayak · 2026-08-22