PrismML 发布 Bonsai 2 27B:比 Qwen3.8 小 9 倍,性能保留 98.2%
ivan_bezdomny · x · 2026-09-19
PrismML 开源发布 Ternary Bonsai 2 27B,采用三值权重压缩 Qwen3.8 27B,显存占用降至 5.9GB,聚合基准成绩保留 98.2%,Apache 2.0 协议开源。
- 可在浏览器中通过 WebGPU 完全本地运行,或跑在 RTX 3060 等 12GB 消费级显卡上;RTX 3060 实测支持 220K 上下文、解码约 35 tokens/s
- 主要面向 agentic 负载:多模态推理、agentic coding、长程工具调用;相比第一代 27B,多步任务中的静默失败与跑偏明显减少
- 团队称在 RTX 5090 上可本地跑 computer-use 工作流
所属事件:Bonsai 2 27B三值量化发布,5.9GB保留98.2%性能(20 条相关)→
「Infra」频道最新
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示 — Sam Witteveen · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16