FP8 量化为何难做逃逸压缩，BF16 权重模式成关键瓶颈
AlpinDale · x · 2026-11-07
AlpinDale 讨论 BF16→12bit 无损压缩能否推广到其他位宽：
- FP8 很难套用：多数 FP8 量化采用 per-block/per-channel scaling，把每个块拉伸到完整的 E4M3 范围（amax 封顶 448），导致存储的指数分散而非像 BF16 权重那样聚集，逃逸率会远高于 BF16；此外 E4M3 的 NaN 模式（S.1111.111）和 subnormal 也需要额外逃逸处理。
- FP32 没有意义：现在没人用 FP32 训练 LLM，可用的权重都是从 BF16 上转的，低 16 位尾数全为 0，编码时会先压缩成 BF16，等于回到 NF12。
- 结论：BF16 已经非常接近无损；理论上该方法可套用到任意位宽，但为大多数位宽写高效推理内核在数学上是一噩梦。
所属事件:开发者开源 nf12：BF16 模型无损压缩至 12bit(10 条相关)→
「Infra」频道最新
- HyperFlow H3 Flash 发布：13.7B 少步数模型同时生成视频与立体声 — Apprehensive_Sky892 · 2026-11-07
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07
- Omnigraph 开源：带 git 式分支的图数据库，多 agent 共享世界模型 — solyarisoftware · 2026-11-07