64GB内存跑Qwen大模型实测
misha1350 · reddit · 2026-07-16
楼主分享了自己在 **64GB RAM** 机器上跑大模型的实测对比，重点是 **Qwen3 Next 80B** 和 **Qwen3.5 122B A10B** 两类量化方案。 要点包括： - 80B 模型在 64GB 内存里能跑到约 **8.5 tok/s**，生成速度更快。 - 122B A10B 通过更激进的量化也能塞进同样内存，但速度降到约 **2.9 tok/s**，不过回答质量和内部知识更好。 - 作者认为更大的稀疏/密集模型在某些冷门问题上更可靠，但 prompt 处理速度太慢，不适合 agentic 工作流。 - 他还提到 32–48GB 内存段缺少一个“甜点位”模型；如果有更合适的中等规模模型，本地 LLM 体验会更完整。 - 最后补充，REAP 版本的 Qwen3.5 122B A10B 表现更差，核心慢速问题也没解决。