LM Studio 运行大模型:如何确认是否 CPU Offload?

x8code · reddit · 2026-08-24

用户在 Windows 11 上使用 LM Studio 和双 NVIDIA GPU(5080 + 5060 Ti)运行 30B 参数的 Nemotron 模型(Q4 量化约 24GB)。小上下文时推理很快,但想知道随着上下文窗口增大,如何判断是否发生了 CPU 卸载,以及在哪里查看这一指标,而非仅凭性能猜测。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →