27B 极限量化不残废：社区实测 Ternary-Bonsai-2 对比 Qwen
Fancy-Snow7 · reddit · 2026-09-20
Reddit 用户用一套自制基准测试了 prism-ml 的 Ternary-Bonsai-2-27B-PQ20（三值化+PQ20 极限量化），并与体积相近的 unsloth Qwen3.8-27B-UD-IQ2XXS 及多个更大的 dense/MoE 模型对比，结论是该模型「并没有完全被压残」。
作者的测试套件包括：标准 21 针大海捞针（多数模型都能满分）、自创的带诱饵硬模式针测试（需多次跳转上下文比对 GUID 才能取回密钥）、短语重构（拆成 8 段还原）、500 道科学选择题（主要看量化损失了多少知识）、以及自建的千段散文长对话记忆测试。
关键发现：散文测试中把上下文拉得越大，模型遗忘越严重——作者因此建议不要盲目追高上下文长度，在较小上下文里做 compaction 摘要反而能保留更多信息；提高 KV cache 精度到 F16 对硬模式针测试的失败帮助也有限。
所属事件:社区实测 16GB 显存极限量化：Qwen 27B 比 Bonsai 快 3 倍(2 条相关)→
「模型」频道最新
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- 同一事件转发：五档 ChatGPT 家庭套餐价格再次被扒出 — heyshrutimishra · 2026-11-04
- KOL 参访阶跃星辰上海办公室，暗示新模型即将发布 — teortaxesTex · 2026-11-04
- 爆料:Anthropic Fable 5.5 难产,正赌 OpenAI Astra 6.2 不敌自己 — haider1 · 2026-11-04
- 字节开源 Axion 1.0-35B 智能体基础模型，仅三阶段训练即比肩商用模型 — pmttyji · 2026-11-04
- 网友催更 Kimi K3.1:问月之暗面模型权重何时放出 — bgmshana · 2026-11-04