社区实测 16GB 显存极限量化:Qwen 27B 比 Bonsai 快 3 倍

Reddit 用户在 16GB 显存上实测两种本地可跑的 27B 级量化方案:Qwen3 27B IQ3XXS(10.18GiB)与 prism-ml 的 Ternary-Bonsai-2-27B(三值化+PQ20,6.42GiB)。结果显示 Qwen 的 IQ3 量化在速度上约为 Bonsai 三元模型的三倍,而 27B 模型经极限量化后仍能正常工作,引发社区对极限量化方案性能权衡的讨论。

2026-09-19 ~ 2026-09-20 · 2 条相关

事件全程(共 2 集)→