16GB 显存实测：Qwen 27B IQ3 量化比 Bonsai 三元模型快 3 倍
Danmoreng · reddit · 2026-09-19
作者在 16GB VRAM 上对比了两种可本地跑的量化方案：Qwen3.8 27B IQ3XXS（10.18GiB） 与 Bonsai 三元 PQ2（6.42GiB），用同一批 UI 生成任务在相同硬件上测试。
结果两者质量差距不大（4/4 任务完成、20/20 断言通过持平），但效率差距明显：
- 总耗时 8:00 vs 24:09，Qwen 快 3.02 倍
- 输出 token 27,197 vs 84,176，Qwen 省 3.1 倍（Bonsai 更啰嗦导致更慢）
- 解码速度 83.59 vs 64.91 tok/s；投机解码接受率 65.22%（MTP）vs 39.76%（修改版 N-gram）
作者称测试不算严谨，且 llama.cpp 开了 MTP 而 Bonsai 没有，进一步放大了差距。完整结果和仓库已开源。
所属事件:社区实测 16GB 显存极限量化：Qwen 27B 比 Bonsai 快 3 倍(2 条相关)→
「Infra」频道最新
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Gary Marcus 断言数据中心需求已过峰值,新项目正被砍 — GaryMarcus · 2026-11-04
- DeepMem:字节级多尺度记忆架构,省 54% 显存提速 37% — Afshin Khadangi · 2026-11-04
- Revolut 弃用 Claude Code 转自托管 GLM 5.1,称成本省 90% — mawcopolow · 2026-11-04