社区实测 16GB 显存极限量化:Qwen 27B 比 Bonsai 快 3 倍
Reddit 用户在 16GB 显存上实测两种本地可跑的 27B 级量化方案:Qwen3 27B IQ3XXS(10.18GiB)与 prism-ml 的 Ternary-Bonsai-2-27B(三值化+PQ20,6.42GiB)。结果显示 Qwen 的 IQ3 量化在速度上约为 Bonsai 三元模型的三倍,而 27B 模型经极限量化后仍能正常工作,引发社区对极限量化方案性能权衡的讨论。
2026-09-19 ~ 2026-09-20 · 2 条相关
- 第 1 集:PrismML 三值量化 27B 模型 98.2% 跑分遭实测质疑(2026-09-19,2 条)
- 第 2 集:社区实测 16GB 显存极限量化:Qwen 27B 比 Bonsai 快 3 倍(2026-09-19,2 条)
- 16GB 显存实测:Qwen 27B IQ3 量化比 Bonsai 三元模型快 3 倍 — Danmoreng · 2026-09-19
- 27B 极限量化不残废:社区实测 Ternary-Bonsai-2 对比 Qwen — Fancy-Snow7 · 2026-09-20