OpenBonsai 开源：9B 模型压到约 2GB 三值 GGUF，RTX 5090 五小时完成
ButtercupLyn100 · reddit · 2026-10-29
开发者开源了 OpenBonsai（Apache-2.0），补齐了 Prism ML Ternary Bonsai 缺失的「自有 BF16 模型→三值 GGUF」压缩 pipeline，兼容其 PTQ10 格式。
方法要点
- 符号 Hadamard 旋转降低权重离群值
- 顺序 GPTQ 量化到 {-1, 0, +1}，FP16 组 scale（每 128 权重一组）
- 用模型自生成的推理轨迹做校准（借鉴 Intel Labs 论文），并对原 BF16 输出分布做 scale 蒸馏
- embedding 和 LM head 也一并三值化，最终 Qwen3.5-9B 从约 18GB 压到 1.997GB；单张 RTX 5090 约 5 小时完成
结果与发现
- 蒸馏显著有效：开发集 NLL 从 3.48 降到 2.89，ARC-Easy 从 13/20 升到 19/20
- 校准数据至关重要：改用自生成数学/代码轨迹后，HumanEval 从 19/50 升到 34/50
- 同一 pipeline 也将 Qwen3-8B 压到 1.8GB，无需改动通用 dense adapter
局限：Prism 官方三值模型在多数评测上仍更强；压缩需 32GB 显存；推理依赖 Prism 的 llama.cpp fork，尚不支持上游 llama.cpp 和 WebGPU。仓库含失败实验与消融记录。
「Infra」频道最新
- 嫌弃 ComfyUI 太重?stable-diffusion.cpp 跑 Flux Klein 四个文件搞定本地生图 — srigi · 2026-10-29
- GPU unlock 对多数人无用:量化模型与游戏零提升,bf16 装满显存才受益 — Justify_87 · 2026-10-29
- 美国 AI 电力三条线：核电签约超 10GW，地热已并网，SMR 在审批 — ingliguori · 2026-10-29
- Jarvislabs 12 月上线 1024 张 NVIDIA B200，已开放预订 — amaarora · 2026-10-29
- 专给 AI 用的浏览器 Lightpanda 爆火:内存比无头 Chrome 省 16 倍 — techNmak · 2026-10-29
- 单台 GB300 NVL72 日产 10T tokens：xjdr 抛出推理经济学之问 — _xjdr · 2026-10-29