Bonsai 2 27B 三值量化模型发布：6GB 体积保留 98.2% 性能
PrismML 于 9 月 18 日在 Hugging Face 发布 Ternary Bonsai 2（27B），一款基于 Qwen3.8-27B 的三值量化推理模型。模型将权重量化为 -1/0/1 三元值，体积压缩至 5.95GB（FP16 原版为 54GB，缩小约 9 倍），同时保留 98.2% 的综合基准性能，可在 WebGPU 浏览器内直接运行。
已确认
- 模型基于 Qwen3.8-27B 的混合注意力架构，架构未改动，仅做三元量化
- 权重体积 5.95GB，不足 6GB，约为 FP16 的 1/9
- 基准测试达到 Qwen3.8 27B FP16 成绩的 98.2%
- 已在 M5 Max 上实测运行，支持 WebGPU 浏览器内推理
- 距第一代 Bonsai 27B 发布两个月，最大改进在于量化后的质量表现，显存占用仍约 5.9GB
- 模型主打 agentic 场景，合集已在 Hugging Face 上架
为什么重要
三值量化可将权重压缩为 -1/0/1，大幅降低显存占用与推理成本，是端侧与低成本部署方向的代表性技术。多位转发者指出，6GB 级体积让 27B 参数模型可以在消费级设备甚至浏览器中运行，若质量损失可控，可能改变大模型的分发与使用方式。
2026-09-18 ~ 2026-09-18 · 6 条相关
一手来源
- 三元权重 27B 模型 Bonsai 2 不足 6GB,WebGPU 浏览器内可跑 — xenovatech ·
- Prism ML 发布 ternary 量化 Bonsai 2 27B 模型合集 — No-Name-Person111 ·
- Ternary Bonsai 2 27B 发布：体积缩至 1/9，仍保留 98.2% 基准性能 — cephaloform · 2026-09-18
- 【源头】三元权重 27B 模型 Bonsai 2 不足 6GB,WebGPU 浏览器内可跑 — xenovatech · 2026-09-18
- Ternary Bonsai 2 上架 Hugging Face:27B 三值权重推理模型仅 6GB — cephaloform · 2026-09-18
- 【源头】Prism ML 发布 ternary 量化 Bonsai 2 27B 模型合集 — No-Name-Person111 · 2026-09-18
- Bonsai 2 27B 开源：三值权重仅 5.95GB，跑分达 FP16 版 98.2% — airesearch12 · 2026-09-18
另有 1 条近重复转述:cephaloform