开源 PhobosStream:8GB 显卡跑 14B 视频模型,峰值显存仅 788MB
martianacademy · reddit · 2026-10-31
作者开源了 PhobosStream 与 ComfyUI-PhobosStream 节点，通过磁盘流式加载让 8GB 消费级 GPU 和 16GB Mac 也能跑 Wan2.1 (14B)、FLUX.1 (12B)、Z-Image-Turbo (11B) 这类通常需要 24-40GB 显存的大 DiT 模型。
基准数据（Apple Silicon Metal 实测）
- 整体加载基线约 38.4GB（直接 OOM）
- PhobosStream 峰值显存仅 788.11MB，节省超 97%
- Z-Image-Turbo 1024x1024：4.79s/步，8 步共 38.33s 纯采样
- SD-Turbo：0.38s（约 10 it/s）
实现原理
- 零拷贝 mmap 流式加载：DiT 直接从 NVMe SSD 映射，显存中只驻留当前激活的 transformer block（约 380MB），用完即逐块换出
- 顺序卸载：Qwen 3.4B / T5-XXL 大文本编码器在第一阶段运行后立即释放，再开始去噪
- 后端支持：Apple Silicon Metal（MLX 原生）、NVIDIA CUDA/ROCm、GGUF
ComfyUI Manager 的 PR（#3453）已提交。
「Infra」频道最新
- Rust 版 MLIP 推理引擎 llmlip.rs:比 PyTorch MACE 快 17.7 倍 — CatAstro_Piyush · 2026-10-31
- AGI House 联手联想办 Personal Agent 落地 Build Day — agihouse_org · 2026-10-31
- RTX 4090刷UEFI解锁BF16实测:生成提速约10%,远追不上5090 — devmoching · 2026-10-31
- 12GB 显存本地跑双模型 Agent：大模型规划、小模型执行 — Loose_Doubt367 · 2026-10-31
- 6 月以来超 1 亿美元数据中心设备被盗,GPS 伪造成新手法 — BuddyWeary653 · 2026-10-31
- Qwen 4 阵容将至,社区追问为何缺席 35B MoE 小卡神器 — solyarisoftware · 2026-10-31