双 RTX 5060 Ti 挑战本地跑 MiniMax H3：显存切分与卸载策略探讨
Kahvana · reddit · 2026-08-06
用户分享了在双 RTX 5060 Ti (16GB) 和 96GB 内存配置下，尝试本地运行 MiniMax H3 视频模型的硬件分配困境。
由于模型主文件约 12.5GB、VAE 约 6GB、文本编码器约 15.7GB，加上上下文占用，单靠显存无法完全加载。用户探讨是否能在完成文本编码后，通过卸载 Qwen3-VL 编码器来腾出空间运行 VAE，寻求在有限硬件上实现多模型协同部署的可行方案。
「Infra」频道最新
- 探讨：跨机 RPC 集群运行 llama-server 推理的实践与网络瓶颈 — _TheWolfOfWalmart_ · 2026-08-06
- Modal 重构沙箱平台：1分钟内极速创建百万并发容器 — dscape · 2026-08-06
- Nebius 推理端点准确性登顶，GLM-5.2 服务速度近 300 tokens/s — songhan_mit · 2026-08-06
- Gavin Baker 谈 AI 算力：SRAM 加速器 ROI 无可匹敌，硬件解耦成趋势 — IanAndrewsDC · 2026-08-06
- 实践探讨：将 M4 Max MacBook 作为常驻 LLM 服务器供移动端调用 — michaelthatsit · 2026-08-06
- H100 实现 622GB/s 解码：ExANS 开源无损 KV 缓存压缩方案 — arnav__1 · 2026-08-06