LM Studio 运行大模型:如何确认是否 CPU Offload?
x8code · reddit · 2026-08-24
用户在 Windows 11 上使用 LM Studio 和双 NVIDIA GPU(5080 + 5060 Ti)运行 30B 参数的 Nemotron 模型(Q4 量化约 24GB)。小上下文时推理很快,但想知道随着上下文窗口增大,如何判断是否发生了 CPU 卸载,以及在哪里查看这一指标,而非仅凭性能猜测。
「Infra」频道最新
- 实测:专业级 GPU 视频生成性能提升有限 — mwoody450 · 2026-08-24
- AI 沙箱虽未破,但这扇“门”竟能让 Agent 逃逸至主机 — VoidStateKate · 2026-08-24
- 美光称 GPU 硅面积大半分配给内存,凸显 AI 关键地位 — SumitGup · 2026-08-24
- AI 亟需更多内存,SK Hynix 探索混合键合与 I-HBM — firstadopter · 2026-08-24
- Qwen3.8-27B 实测:单卡 Blackwell 跑出 268 tok/s — EAccelerate_42 · 2026-08-24
- Fable 发布终结 AI 摩尔定律,开发者重回架构优化时代 — dbreunig · 2026-08-24