MiniMax H3 多显卡优化:专用显存激活权重提升分辨率
yamosin · reddit · 2026-08-21
用户分享了 MiniMax H3 在多 GPU 设置下的显存优化技巧。通过将 UNet 权重存储在 cuda:0,并将 cuda:1 专门用于推理时的激活权重,实现了在不牺牲性能的情况下获得整整一张 GPU 的显存用于激活计算。
测试配置:3x RTX 3090。工作流是 CLIP+VAE 先加载在 cuda:0,条件化完成后卸载 CLIP,随后 UNet 一半存 cuda:0,一半在 cuda:1 计算。测试显示,这种权重分配的变化对采样时间影响极小(83s-87s 波动),但能显著提升可生成的分辨率和视频时长。
结论:该方法允许两张 16GB 显存的显卡(如 4070)在纯显存内完成 0.7MP + 15s 的视频生成(激活权重约 12GB)。相比 swap 到系统内存,性能提升巨大。建议将 VAE 和部分 UNet 固定在一张卡上,另一张卡动态加载剩余部分。
「Infra」频道最新
- DSCO Router 推出多模型统一网关,支持自带账号自动路由 — arthurcolle · 2026-08-24
- 开源方案 RobotSoul:为 Agent 提供上下文重置后的持久身份 — robauto-dot-ai · 2026-08-24
- 将 MoE 模型卸载至 RAM 运行会遭遇极慢的 Prefill — former_farmer · 2026-08-24
- Etched获10亿美元融资,Jane Street领投验证专用芯片 — TheTuringPost · 2026-08-24
- ConvRot 量化方法入驻 llama-cpp,Q6 接近 Q8 精度 — giveen · 2026-08-24
- LifeOS:基于本地模型的语音驱动个人管理工具 — Extension-Bid-639 · 2026-08-24