M3 Max 本地跑出 70 tok/s，32k 任务后仍余 20GB 内存
mayfer · x · 2026-08-28
用户分享了在 M3 Max (128GB) 上本地运行大模型的实测数据。推理速度达到 70 tok/s，预填速度约为 300 tok/s。用户指出尽管机器过热时会有降频问题，但在执行 32k token 的 Agent 任务后，仍有 20GB 内存可用，认为该配置对于本地 Agent 开发非常实用。
所属事件:M3 Max 本地跑通 125B Qwen 模型，推理达 70tok/s(3 条相关)→
「编程与Agent」频道最新
- Vercel 后端升级:Python 正式 GA,新增容器与 Daemons — cramforce · 2026-10-16
- Datadog 发布 Scout 1.0:专攻生产事故调查的垂直模型 — tianyin_xu · 2026-10-16
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- Vercel Ship 现场宣布容器部署,Go/Ruby/Java 皆可上 — edwin · 2026-10-16
- TRL 零时差支持 Muse Spark Open：64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问，第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16