ComfyUI 显存难题:如何只把扩散模型全量塞进 GPU?
Rare_Subject2343 · reddit · 2026-11-06
Reddit 技术求助:作者在 16GB AMD 7600xt(Redora 45 + ROCm 10.3.0)上跑 int8 扩散模型,扩散模型本身能装进显存,但配套的 int8 Qwen3.5 9B 文本编码器装不下。问题在于即使扩散模型全在 VRAM,KSampler 速度仍像有张量被 offload 到 CPU,50 步要 2 分钟;--gpu-only 又会因把所有组件都塞进 GPU 而导致系统崩溃。求「只对扩散模型强制全量 GPU、文本编码器部分 offload」的方法。
「Infra」频道最新
- 老牌投资人：内存股 P/E 低至 3 也不便宜，LTA 随时可能被客户撕毁 — bookwormengr · 2026-11-06
- 企业 AI 的未来更本地化：反欺诈、合同分析等战术场景利好基础设施厂商 — DavidLinthicum · 2026-11-06
- 德州当选州长承诺已批数据中心可完工，新项目将须缴税并保障民生 — GavinSBaker · 2026-11-06
- 开源 Marin 535B-A23B 完成主预训练:18T tokens,下周放 checkpoint — dlwh · 2026-11-06
- Buoyant 开源 Kinference:vLLM 上的 K8s 推理控制平面 — vllm_project · 2026-11-06
- GitHub Octoverse:vLLM 跃居社区开源项目互动榜第 2 — vllm_project · 2026-11-06