Mac Studio 本地跑 27B 模型实测
MaziyarPanahi · x · 2026-07-15
- 这条帖子展示了在 Mac Studio 上运行 prism-ml/Ternary-Bonsai-27B-gguf 的实践：通过 Hugging Face Inference Providers，由 Together AI 托管服务。作者强调“没有 Mac Studio 也能用同一模型”，指向的是推理服务化而非单机硬件依赖。
- 引用内容补充了更完整的场景：模型在本地用 llama.cpp + Metal 运行，体积约 7.2GB、协议为 Apache-2.0，并在一份包含 292 次就诊记录、约 3 年的患者病历上工作。
- 这次测试里，GLM-5.2 只能提问，Bonsai 负责回答；模型在约 2 秒内回答了 3 个问题，且当时还保留了 19,398 tokens 的缓存。作者还称它最终发现了一个埋了 17 个月 的问题，强调了长上下文与本地隐私场景的实用性。
所属事件:Mac Studio本地运行27B模型处理长病历(2 条相关)→
「Infra」频道最新
- AI 工程师必懂的 12 种 KV Cache 压缩技术一文讲透 — blaizedsouza · 2026-09-11
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11