实验证明权重量化难破 10.45 bit：NF11 逃逸率是 NF12 的 44 倍
AlpinDale · x · 2026-11-07
作者分享其大量权重宽度压缩实验的一手结论：
- 尝试了 8 到 12 bit 的多种宽度，低宽度难以写出快速推理 kernel。
- 8-11 bit 变体逃逸组（escape groups）过多，导致体积反超 BF16：纯 NF11 有 13.3% 的权重逃逸，NF12 仅约 0.3%。每个逃逸组实际按 FP28 处理。
- 也试过 encoder 在 NF8-NF12 间动态选择逃逸组最少的 dtype 的混合宽度机制，效果不明显。
- 系统探索过 exponent palettes、紧凑异常 patch、局部上下文、Huffman 编码、ANS 熵编码、基于邻位权重的预测器等方法，最终能稳定达到的最低宽度约为 10.45 bit。
所属事件:开发者开源 nf12：BF16 模型无损压缩至 12bit(10 条相关)→
「Infra」频道最新
- HyperFlow H3 Flash 发布：13.7B 少步数模型同时生成视频与立体声 — Apprehensive_Sky892 · 2026-11-07
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07
- Omnigraph 开源：带 git 式分支的图数据库，多 agent 共享世界模型 — solyarisoftware · 2026-11-07