PrismML 开源 Ternary Bonsai 2：9B 视觉语言模型压进约 2GB
lmoroney · x · 2026-10-17
PrismML 于 10 月 15 日以 Apache 2.0 开源 Ternary Bonsai 2 系列，将基于 Qwen3.5 的 9B 视觉语言模型压缩到约 2GB。
要点：
- 新增 2B/4B/9B 三个型号（加入原有 27B），每个权重只用 -1/0/+1 三值存储加小组缩放因子，体积约 0.43GB/0.95GB/2GB，比全精度版本小 9 倍以上。
- 可通过 llama.cpp 跑在 NVIDIA GPU 上，通过 MLX 跑在 Mac、iPhone、iPad 上；官方报告 9B 在 M5 Max Pro 上最高 179 tokens/s，iPhone 18 Pro Max 上 34 tokens/s。
- 官方基准保留率约 92–100%（9B），作者提醒这是厂商数据，需自行验证。
- 实用提示：三值 GGUF 打包需要 PrismML 的 llama.cpp fork，上游 llama.cpp 只能加载 Q20 文件。
作者还给出教学用法：让学生在笔记本上跑 4B，再对照基准表找掉分最多的技能组，作为讨论「压缩代价」的现成素材。
所属事件:PrismML 开源三值模型 Bonsai 2：9B 仅 2GB 可跑手机(10 条相关)→
「Infra」频道最新
- AI 挤爆内存之际,有人盼着 RAM 涨价逼退小学生 Chromebook — RachelVT42 · 2026-10-17
- Compute Labs 推出 GPU 融资平台，撮合算力运营商与资本方 — paigeinsf · 2026-10-17
- Google 研究员解密 5:1 SWA 分层设计：源自 XLA 编译与 TPU 约束 — teortaxesTex · 2026-10-17
- Anthropic 获 BB+ 评级，华尔街拟再筹 600 亿美元 AI 芯片融资 — basedjensen · 2026-10-17
- Qdrant 实测 Perplexity 视觉文档嵌入:压缩 21 倍仍保留 96.5% 召回 — jrxna · 2026-10-17
- 4 张 Intel B70 跑通 vLLM：450 t/s 预填，修复溢出崩溃 — 38andstillgoing · 2026-10-17