NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确

TheZachMueller · x · 2026-10-16

NVIDIA 流出(针对 Qwen 模型实测)的 NVFP4 新技术:专家矩阵中每个 block scale 占 1 字节,但观察发现同一行内 99% 以上的相邻尺度彼此只差几个 E4M3 编码步。据此把每 16 行设一个行基值(1 字节),其余尺度编码为 4-bit 偏移量,行外约 0.3% 的例外尺度仍以全精度存储(每矩阵仅约 1.4KB)。

解码只需 scalebyte = base + offset,再加例外修正;由于正 E4M3 字节单调,整数加法即可成立。实测 4 个采样矩阵中 99.46% 的尺度能装进 4-bit 窗口,每个专家矩阵节省 45-48% 存储且位精确(bit-exact)——权重与 FP32 全局尺度完全不动,只重编码 scale 字节。