NVIDIA 发布 NVFP4 低精度推理格式

NVIDIA 介绍了名为 NVFP4 的新型低精度格式,专为大型语言模型推理设计。该方案旨在降低 GPU 显存消耗与运行成本,让企业能用更少硬件资源运行大模型。同时,NVFP4 强调在提升效率的同时尽量保持模型精度,为 LLM 推理提供了一条更具性价比的落地路径。

2026-07-24 ~ 2026-07-24 · 2 条相关