Bonsai 2 把 Qwen 压到 6GB 仍存 98% 性能,长 Agent 任务却翻车
Prompt Engineering · youtube · 2026-09-28
- PrismML 的 Bonsai 2 通过把所有权重重训练为 −1/0/+1 三值,将 Qwen3.8 27B 压缩进一个 6GB 文件,官方称保留全量模型 98% 性能。
- 博主实测:短任务(聊天、简单编码)与全量模型打平;但在 agentic 循环里让它做一个 3D 地球 ISS 追踪器时,全量模型成功完成,Bonsai 却把同一个搜索重复跑了 114 次,一行代码都没写出来。
- 结论:压缩模型适合笔记本上的聊天与轻量编码,跑长程 agent 任务前务必先用自己的任务实测,别只信 benchmark。
所属事件:Bonsai 2三值压缩将27B模型压至6GB实测长任务翻车(2 条相关)→
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16