Mac Studio 本地跑 27B 模型实测
MaziyarPanahi · x · 2026-07-15
- 这条帖子展示了在 **Mac Studio** 上运行 **prism-ml/Ternary-Bonsai-27B-gguf** 的实践：通过 **Hugging Face Inference Providers**，由 **Together AI** 托管服务。作者强调“没有 Mac Studio 也能用同一模型”，指向的是推理服务化而非单机硬件依赖。 - 引用内容补充了更完整的场景：模型在本地用 **llama.cpp + Metal** 运行，体积约 **7.2GB**、协议为 **Apache-2.0**，并在一份包含 **292 次就诊记录**、约 **3 年**的患者病历上工作。 - 这次测试里，**GLM-5.2** 只能提问，Bonsai 负责回答；模型在约 **2 秒**内回答了 3 个问题，且当时还保留了 **19,398 tokens** 的缓存。作者还称它最终发现了一个埋了 **17 个月** 的问题，强调了长上下文与本地隐私场景的实用性。
所属事件:Mac Studio本地运行27B模型处理长病历(2 条相关)→
「Infra」频道最新
- JoyNexus 把 VLA 后训练做成多租户共享服务 — Haoran Sun · 2026-07-21
- ComfyUI 变慢或因模型反复读盘，而非硬件故障 — J6j6 · 2026-07-21
- Opta 世界杯预测看似封神，核心其实是数据和模拟 — APPSO · 2026-07-21
- TokenPrint 把 Qwen 推理做成 DevTools 式调试器 — Rich-Fruit-326 · 2026-07-21
- 路由故障让 Claude Code 智能体 3.5 小时烧掉 3020 万 token — RileyRalmuto · 2026-07-21
- 单集群可扩至50万卡，华为Atlas 950 SuperPoD算力架构曝光 — pstAsiatech · 2026-07-21