无损打包格式让 Qwen3.8-27B 省 11.4 GiB 显存、提速 20-24%
EitherMarch1255 · reddit · 2026-11-14
Reddit 用户分享一套针对 Qwen3.8-27B BF16 部署的无损压缩方案,权重逐位一致但显存省 11.4 GiB、生成提速约 20-24%。
核心思路:BF16P12 打包格式
- BF16 的符号位和尾数熵接近满值不可压缩,但指数位高度局部化:实测每个权重低字节熵 7.97 bit,高字节仅 2.68 bit
- 每个权重存 1 字节符号+尾数,外加 4-bit 指数码;每 256 个权重一个块(392 字节,合 12.25 bit/权重),块内共享 base 指数,覆盖 16 个连续指数值
- 指数越界的权重(约 1/17000)在块头列出;仅 token embedding 表(2.37 GiB)无法打包保持 BF16,50.88 GiB 矩阵压到 39.51 GiB
实测数据(双 RTX PRO 6000 Blackwell 96GB,llama.cpp + 自有补丁)
- 权重占用 50.9 → 39.5 GiB;单卡 29.5 → 36.7 tok/s,双卡 48.8 → 58.6 tok/s
- 配合模型内置 MTP 层做投机解码,双卡最佳 prompt 达约 91 tok/s
- 解码不需完整解包:1–4 token/步时直接读压缩块在寄存器重建权重;省下的显存直接换成更长对话(每 token KV cache 64 KiB,256K 上下文即 16 GiB)
作者还提到把「uncensored」变体做成 10 MB 增量补丁、按请求开关,替代第二份 52 GB 模型。拒绝 Q8 量化是因为质量损失可感知,此方案目标是零损失。
「Infra」频道最新
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22