本地跑 Qwen 35B:32GB Mac 提示词处理慢至 20 分钟求升级方案
Guilty-Support-584 · reddit · 2026-09-16
Reddit 用户咨询本地部署硬件选型:现有 M2 Max 32GB MacBook 跑 Qwen3.6 35B A3B(q4,18GB)+60k 上下文明显吃力,会触发 swap;纯 SSD 流式仅 4-10 tks;全载入 RAM 后 15-20 tks,但 40-60k token 的 prompt 处理仍需 20-60 分钟。候选方案为 €1500 二手 M1 Max 64GB、€3500 M3 Max 128GB,或自组 24GB 显卡 + 128GB RAM 的 PC。目标是在合理价位以可用速度跑最强本地模型,评论在讨论各方案能跑的模型规格与预期速度。
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%,但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差,美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02