64GB 内存能跑什么?Reddit 用户求解 Qwen 3.8 27B 之后的本地模型选择

xdcfret1 · reddit · 2026-11-05

Reddit 用户 xdcfret1 在本地 LLM 社区发帖求推荐:他有 32GB 显存 + 32GB 内存,目前能跑的最好稠密模型是 Qwen 3.8 27B 的 Q6 量化版本;也通过把 MoE 的专家层卸载到 CPU,跑动一些更大的 MoE 模型,前提是总内存占用控制在 64GB 以内。

他抱怨最近新模型虽多,但在自己的硬件限制内没找到有实质提升的选择,希望有类似配置的网友分享跑过的模型和实测体验。配图是 AI 生成的本地部署桌面场景(作者已注明)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →