一眼看懂 NVFP4 机制
nrehiew_ · x · 2026-07-13
这条帖子的重点是一个**NVFP4 工作原理的可视化**，作者认为它“一眼就能看懂”。 结合回复上下文，讨论的核心是 **4bit / bf16 混合表示** 这类量化方案的工程细节： - 某些部分保留在 **bf16** - 会比较不同表示方案的**重建误差**，选择误差更小的实现 - 为了进一步缩小相对误差，还会把表示范围缩到 **±4** - 但这类策略通常**计算代价不低**，因此需要依赖一系列 kernel 技巧 整体是面向工程实现的技术解读，而不是泛泛而谈。