NF12 详解：逃逸组共 28 字节，几乎不会超过 BF16 体积
AlpinDale · x · 2026-11-07
进一步解释 NF12 的实现细节：并非所有权重都是严格 12-bit，escape buffer 与共享指数底会占用部分空间。每 8 个权重一组，正常组打包为 12 字节（原 16 字节）；无法表示的整组标记为异常，8 个原始 BF16 值存入单独的逃逸缓冲区（共 28 字节）。逃逸组很多时总大小会超过 BF16，但 NF12 实际几乎不会出现这种情况（降到 NF11/10 则会）。
所属事件:开发者开源 nf12：BF16 模型无损压缩至 12bit(10 条相关)→
「Infra」频道最新
- HyperFlow H3 Flash 发布：13.7B 少步数模型同时生成视频与立体声 — Apprehensive_Sky892 · 2026-11-07
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07
- Omnigraph 开源：带 git 式分支的图数据库，多 agent 共享世界模型 — solyarisoftware · 2026-11-07