M3 Max 本地跑 70 tok/s，32k 任务仍余 20GB 显存
KaelinHooper · x · 2026-08-29
用户在 M3 Max (128GB) 上实测本地模型性能：推理速度达 70 tok/s，预填充约 300 tok/s。实测完成 32k token 任务后内存仍有 20GB 空闲，认为配合 Agent 完全可用，弥补了与前沿模型在智能度上的差距。
所属事件:M3 Max 本地跑通 125B Qwen 模型，推理达 70tok/s(3 条相关)→
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15