Bonsai 2 把 Qwen 压到 6GB 仍存 98% 性能,长 Agent 任务却翻车
Prompt Engineering · youtube · 2026-09-28
- PrismML 的 Bonsai 2 通过把所有权重重训练为 −1/0/+1 三值，将 Qwen3.8 27B 压缩进一个 6GB 文件，官方称保留全量模型 98% 性能。
- 博主实测：短任务（聊天、简单编码）与全量模型打平；但在 agentic 循环里让它做一个 3D 地球 ISS 追踪器时，全量模型成功完成，Bonsai 却把同一个搜索重复跑了 114 次，一行代码都没写出来。
- 结论：压缩模型适合笔记本上的聊天与轻量编码，跑长程 agent 任务前务必先用自己的任务实测，别只信 benchmark。
所属事件:Bonsai 2三值压缩将27B模型压至6GB实测长任务翻车(2 条相关)→
「Infra」频道最新
- AMD 9070XT 跑 MiniMax 图生视频，优化后从 58 分钟降到 21 分钟 — Sofa-Sleuth · 2026-09-29
- VC 视角：EDA 芯片设计反馈环太长，AI 智能体难有用武之地 — ai · 2026-09-29
- Polymarket 押注：年内美国任一州出台数据中心禁建令概率仅 26% — Polymarket · 2026-09-29
- boxd 宣称 Linux 整机启动不到 10ms,可随时 fork 与休眠 — Scobleizer · 2026-09-29
- Starlink V3 卫星单星 1 Tbps,一次发射新增 26 Tbps 容量 — andreisavu · 2026-09-29
- 大规模 Agent 编码卡在构建测试,开发者自建 dsr 替代 GitHub Actions — doodlestein · 2026-09-29