无损 12-bit 格式 NF12 让 Qwen3-32B 推理提速至 2.54 倍
realDanFu · x · 2026-10-29
@sylviel 介绍 NyoomFloat12（NF12）：一种无损的 12-bit 权重压缩格式。现有无损压缩（如 DFloat11）只省显存不省时间，因为解码开销反而拖慢生成；NF12 针对 BF16 权重中每比特熵差异设计——符号位与部分指数位近乎确定，可压缩后重排进 meta byte，解码代价足够低。实测在 Qwen3-32B 上：token 生成提速 1.23×，在共享前缀 rollout 场景下吞吐最高提升 2.54×；且权重压缩后腾出的 HBM 显存可用于更大的 KV cache（BF16 在 KV 容量墙处饱和而 NF12 不受限）。配图给出了逐比特熵分析、NF12 meta byte 编码方案与吞吐对比曲线。
「Infra」频道最新
- 西班牙高铁相撞事故,Movistar 与 Orange 启用星链恢复灾区通信 — elonmusk · 2026-10-29
- 微软云营收超630亿美元增速达30%,纳德拉称押注智能体浪潮 — elonmusk · 2026-10-29
- 谷歌 Gary Illyes 谈假 Googlebot 爬虫泛滥与 AI 训练抓取之乱 — gaganghotra_ · 2026-10-29
- OpenRouter 日处理 5.2T token,大 V 追问 GPU 到底去了哪 — teortaxesTex · 2026-10-29
- 苹果 MLX 合并多项优化：批量解码提速 2~3 倍，prefill 近 2 倍 — awnihannun · 2026-10-29
- LessWrong 提案:用 ASIC 固化模型拆分训练与部署,消解前沿 AI 公司风险 — LessWrong 精选 · 2026-10-29