NVIDIA NVFP4 权重无损压缩新技巧：省约 6GB 显存且比特精确

针对 Qwen 模型的实测显示，NVIDIA 流出的 NVFP4 新压缩技术利用专家矩阵同一行内 99% 以上相邻 block scale 彼此仅差几个单位的特点，可节省 45-48% 存储。需澄清的是，该方案并非无损量化，而是对 NVFP4 权重的无损压缩：同精度下典型 NVFP4 约多占 6GB，压缩后权重与原方案比特完全一致，省出的显存可全部让给 KV-cache。

2026-10-16 ~ 2026-10-16 · 2 条相关