M1 Max 64GB 跑本地 32B-120B 模型:吐槽 LM Studio 报错与选型难
Food4Lessy · reddit · 2026-10-21
作者过去 9 个月 99% 使用云端模型(Gemini、Claude、DeepSeek、Groq、Cerebras),现因处理敏感数据想回归本地部署。
此前 7B Llama 经 MLX 可达 45 token/s,但能力太弱;尝试 Qwen 32B 在 LM Studio 中报错。作者咨询 64GB M1 Max 上 32B-70B-120B 模型的最佳选择,用例涵盖研究分析、轻量编码、CAD/PCB、图像生成等。
「Infra」频道最新
- Reflection 开源 501B MoE 模型 Beam 1.0 的 RL 后训练全食谱 — ying11231 · 2026-10-21
- 有人放话 12 月 1 日起短租 3000 块 B300,租期仅 3 个月 — sloppenheimer · 2026-10-21
- Autonomous 实测:Opus 规划+DeepSeek 执行的本地混合 agent 策略 — dee_hw · 2026-10-21
- DeepSeek 据称在华为昇腾 950 上实现超高效大规模推理 — teortaxesTex · 2026-10-21
- 路透独家:字节、阿里、腾讯向英伟达下单超 350 亿美元芯片 — Scobleizer · 2026-10-21
- DeepSeek 曝单集群日处理 155 万亿 token,毛利约 82% — ssh4net · 2026-10-21