双 RTX 4060 Ti 跑本地 LLM 实测:35B 模型解码达 122.5 token/s
Rooneybuk · reddit · 2026-10-30
一位 Reddit 用户晒出双 RTX 4060 Ti 16GB(共 32GB 显存)跑本地大模型的实测数据,并询问是否值得换 Mac Studio M5 Max(40 核 GPU、64GB 统一内存)。
其现有成绩:
- Qwen3.6-35B-A3B(UD-Q4KXL 量化,262k 上下文):预填 76.7 t/s,解码 122.5 t/s
- Qwen3.8-27B 稠密版(UD-Q4KXL,200k 上下文):预填 55.5 t/s,解码 34.3 t/s
帖子向 Mac 用户征集同类模型的 prefill/decode 速度作对比,是本地部署党选型的实用参考数据。
「Infra」频道最新
- 实测 10 款编码 Agent 跑本地 Qwen 27B:Pi 每 task 仅 9.2k tokens 最省 — latent_lurker8587 · 2026-10-30
- Anthropic 德州数据中心 50-70 亿美元垃圾债发售被搁置 — rohanpaul_ai · 2026-10-30
- GPU 上做权重压缩？斯坦福研究者打脸自己的直觉 — realDanFu · 2026-10-30
- 缓存 token 详解：agent 循环为何重复付费，命中可省 50 倍 — Arindam_1729 · 2026-10-30
- GB300 单托盘跑 DeepSeek Flash：每用户近 1000 tok/s，百万 token 仅 7 美分 — bookwormengr · 2026-10-30
- 奥特曼称 AI 机器人自复制数据中心「触手可及」 — Eliv_nurotic · 2026-10-30