Bonsai-2 27B 三值模型在 Mac 本地 5.7 秒读懂用药单变化
MaziyarPanahi · x · 2026-09-18
Prism ML 在 Hugging Face 发布 Bonsai-2 系列模型合集,主打 27B 三值(Ternary)模型,提供 GGUF、MLX 2bit、ONNX 等多种量化格式,还可在浏览器中通过 WebGPU 直接运行。
作者实测:用 Bonsai 2 在 Mac Studio 上本地读取用药清单照片,仅两张图就识别出剂量从 5mg 改为 10mg、以及最新清单中缺失的一种药物,整个运行约 5.7 秒。这是面向本地、低成本实用的 AI 应用场景的典型演示。
所属事件:Bonsai 2 27B三值量化发布,5.9GB保留98.2%性能(20 条相关)→
「Infra」频道最新
- llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍 — topppggg · 2026-11-16
- llama.cpp 用 HF Buckets 与 HF Jobs 重构 CI,应对日均 35 个 PR 的压力 — ggerganov · 2026-11-16
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示 — Sam Witteveen · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16