三值量化 Bonsai-2 替代 Qwen3-VL 写提示词，实测效果好

MehZhure · reddit · 2026-11-13

Reddit 用户分享了一个反直觉的用法：Bonsai 系列小模型虽然工具调用常被吐槽，但拿来专门写提示词意外地好。Bonsai-2 是 Qwen3.8-27B 的蒸馏版，提供三值量化（ternary quant），几乎保留 27B 完整版的写作水平，体积却只有 9B 甚至更小。

作者在测试开源项目 mondo-music-video（把歌曲自动转成 MV，做节拍感知的镜头规划，用 LLM 写提示词，支持本地或托管渲染）时，默认的 qwen3-vl 写手总把 thinking 标签漏进输出里，于是换上 Bonsai-2（关闭思考模式），效果很好。模型权重：prism-ml/Ternary-Bonsai-2-27B-gguf，项目：hodgemann/mondo-music-video。