实测 Bonsai 2:6GB 跑 27B 模型,短任务打平长任务全崩
Prompt Engineering · youtube · 2026-09-28
YouTube 频道 Prompt Engineering 实测 PrismML 的 Bonsai 2,该三进制压缩方案宣称以 6GB 文件保留 Qwen 27B 模型 98% 的性能。
实测结论:
- 同一 agent 测试框架、关闭思考模式下,短任务基本打平(48.6 vs 47.1)
- 但在 6 个长 agentic 构建任务中,完整版 Qwen 得 35/60,Bonsai 2 没有一个可运行的应用,甚至出现同一搜索重复执行 114 次
- 视频讲解三进制压缩原理、其白皮书对 agentic benchmark 的表述,以及如何在 trace 中识别压缩模型的失败征兆
对想在本地小显存跑大模型的用户:压缩模型跑聊天尚可,交给 agent 长任务需谨慎。
所属事件:Bonsai 2三值压缩将27B模型压至6GB实测长任务翻车(2 条相关)→
「模型」频道最新
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16