三进制打包三值 GGUF：显存省 22% 且无损，9B 模型仅 2GB
pmttyji · reddit · 2026-09-05
开发者 llopresto87 为三值模型（如 BitNet-b1.58、Ternary-Bonsai）实现了一种更紧凑的 GGUF 格式 Q2B3 / B3S：利用权重只有 {-1, 0, +1}×块缩放的特性，直接用三进制（base-3）打包，128 个权重仅需 26 字节 trits + 1 个 f16 scale，即每权重 1.75 bit。
体积对比（仅权重）：
- 9B：Q20 约 2.5 GB → B3S 约 2.0 GB
- 27B：Q20 约 7.6 GB → B3S 约 5.9 GB
要点：
- 这是无损的——对真三值模型，打包不损失任何精度，只是换掉了通用 2-bit 表示；喂普通 FP16 模型则会严重掉质量。
- 实现基于 llama.cpp 的小型 fork（commit 4e97ac86e），主开发路径为 AMD ROCm（7900 XTX 实测），CPU 可用；CUDA/Metal 能编译但未经作者验证。
- 实测解码速度无可感知损失，暂无完整速度/困惑度表格。
- 附带一个 repacker 工具，可将旧版 30 字节双 scale 布局转为新版，且会逐块校验，避免静默产生有损文件。
作者目前最需要的帮助：NVIDIA / Apple 用户对比 CUDA/Metal 与 CPU 输出的一致性。仓库：llama-cpp-ternary-b3s 与 ternary-q20-repacker。
「Infra」频道最新
- ChatGPT/Claude/Grok 同宕机后，网友晒出三机全本地 AI 家庭实验室 — cocktailpeanut · 2026-09-05
- DRAM 密度曲线已趋平:服务器内存 5 年停在 8TB,CXL 成破局关键 — lauriewired · 2026-09-05
- 16GB 显存实测 21 个 Qwen3.8-27B 量化版，bartowski IQ4_XS 夺冠 — Storterald · 2026-09-05
- Nvidia DLSS 5 帧插值在 Stable Diffusion 社区引热议 — KonoTheSavage1 · 2026-09-05
- Dylan Patel 做客 Dwarkesh 播客：马斯克如何玩转算力市场 — Dwarkesh Patel · 2026-09-05
- MiniMax 联手 Together AI 伦敦办活动,聚焦开源模型生产经济学 — MiniMax_AI · 2026-09-05