NVFP4 权重无损压缩省 6GB 显存,可全部让给 KV-cache

TheZachMueller · x · 2026-10-16

一条针对「无损量化」说法的技术澄清:该方案并非无损量化,而是对 NVFP4 权重的无损压缩。同样精度下典型的 NVFP4 会大出约 6GB,而用这种压缩方式可以在权重完全比特一致的前提下,把省出的约 6GB 显存全部留给 KV-cache 使用。

所属事件:NVIDIA NVFP4 权重无损压缩新技巧:省约 6GB 显存且比特精确(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →