64GB 内存能跑什么?Reddit 用户求解 Qwen 3.8 27B 之后的本地模型选择
xdcfret1 · reddit · 2026-11-05
Reddit 用户 xdcfret1 在本地 LLM 社区发帖求推荐:他有 32GB 显存 + 32GB 内存,目前能跑的最好稠密模型是 Qwen 3.8 27B 的 Q6 量化版本;也通过把 MoE 的专家层卸载到 CPU,跑动一些更大的 MoE 模型,前提是总内存占用控制在 64GB 以内。
他抱怨最近新模型虽多,但在自己的硬件限制内没找到有实质提升的选择,希望有类似配置的网友分享跑过的模型和实测体验。配图是 AI 生成的本地部署桌面场景(作者已注明)。
「Infra」频道最新
- oMLX 新版让第二台 Mac 加速 prefill 最高 2.9 倍 — pcuenq · 2026-11-05
- FineWeb-30M 训练提速至 14.2 秒,单节点 8xH100 再破纪录 — RobertTLange · 2026-11-05
- 图数据库新玩法:状态存 S3、查询节点随起随弃,HydraDB 获 13k 星 — JeremyCMorgan · 2026-11-05
- FT:微软否决与英国 Nscale 的数十亿美元 AI 交易 — nordicinst · 2026-11-05
- 微软发力端侧编码 AI:128GB 统一内存 RTX Spark PC 免 token 费跑编码模型 — lee_stott · 2026-11-05
- 百度开源 ERNIE 5.5 Flash Base:280B MoE 仅激活 14B,支持百万上下文 — Baidu_Inc · 2026-11-05