NF12 无损权重格式:99.7% 权重省掉指数位,体积小于 BF16 还更快
AlpinDale · x · 2026-11-07
AlpinDale 详解新的 NF12 权重格式的编码方案与边界情况:
- 核心思路:BF16 的指数范围远超训练后权重的实际需要,模型中超过 99.7% 的权重高四位指数位相同(0111),因此这些位无需存储,解码时像传统文件压缩一样恢复。
- 0.3% 异常值处理:不做有损丢弃(否则就与 FP8 等常规有损压缩无异),而是按 8 个权重一组编码,正常组压缩到 12 字节(原 16 字节);若组内有权重无法表示,整组标记为例外,把 8 个原始 BF16 值存入单独的 escape buffer,解码时精确还原。
- 开销与限制:并非整块都是 12 bit——escape buffer 和共享指数基数占用额外空间,异常组共 28 字节。若异常组过多总大小可能超过 BF16,但 NF12 下几乎不会发生(降到 NF11/10 时才会)。
- 效果:解码后模型与原 BF16 完全一致,同执行管线输出完全相同;因需搬运的字节更少,加速比大致与节省的显存成正比。
所属事件:开发者开源 nf12：BF16 模型无损压缩至 12bit(10 条相关)→
「Infra」频道最新
- HyperFlow H3 Flash 发布：13.7B 少步数模型同时生成视频与立体声 — Apprehensive_Sky892 · 2026-11-07
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07
- Omnigraph 开源：带 git 式分支的图数据库，多 agent 共享世界模型 — solyarisoftware · 2026-11-07