Ternary-Bonsai-27B 本地实测
pbaylies · x · 2026-07-15
转发内容展示了 Ternary-Bonsai-27B 在单张 3090 上的运行表现，重点是量化和推理效率：
- llama-bench 下，在不同上下文长度（32k / 64k / 128k）时的吞吐分别约为 956 / 830 / 547 t/s。
- 使用 llama-server 和 dspark speculative decoding 后，最大上下文可到 132k。
- 显存占用约 23.3GB，解码速度约 44 t/s，比基线约提升 1.5×。
- 原帖还提到该系列包括 1-bit / ternary 版本、262K token 上下文，以及更小的 companion 模型，主打低显存部署。
整体来看，这是一次面向本地推理的模型发布/实测，关注点在于量化压缩、长上下文和推理加速效果。
所属事件:Bonsai 27B 发布：首个可在手机运行的 27B 模型(15 条相关)→
「Infra」频道最新
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27