开发者用 Rust 写权重流式引擎,RTX 3060 12GB 跑动 FLUX.2 9B
madtune22 · reddit · 2026-09-23
Reddit 用户 madtune22 发布 StreamLoader,一个 Rust 编写的 GPU 权重流式引擎,让超出显存容量的模型(如 FLUX.2-klein-9B)能在 RTX 3060 12GB 上运行。技术要点:
- 直接从 SafeTensors checkpoint 读取张量,使用 mmap + pinned host memory、可复用 VRAM buffer、基于 CUDA event 的预取;
- 通过 DLPack 把张量回传给 PyTorch;
- ResidentPool 支持部分块常驻显存:保留约 2GB 常驻比全流式快约 9%;
- 移植 Qwen-Image-2.1 测试可移植性,Rust 引擎无需改动,只调整了 Python 集成与块配置。
作者公开代码征求反馈,重点关注 CUDA/预取设计的同步与生命周期 bug、更好的驻留缓存策略、以及值得测试的架构。
「Infra」频道最新
- 网友发布 Qwen3.8 27B 量化版：单卡 Strix Halo 跑一周，质量胜过 ISTA 与 Unsloth — Dutchnamn · 2026-09-23
- crabbox 上线 boxd：本地编辑，命令跑在毫秒级启动的隔离微虚拟机 — steipete · 2026-09-23
- AI 数据中心功耗从 5 兆瓦飙到 1000 兆瓦，涨了 200 倍 — Olivier__OG · 2026-09-23
- AMD MI355X 每美元性能达 DGX B300 的 1.7 倍 — zephyr_z9 · 2026-09-23
- 云栖大会最大看点不是新模型，而是 AI 全栈生态成型 — manishkhosiya · 2026-09-23
- 本地跑 Qwen3.8-27B：10GB 显存、170ms 延迟、多模态决策 — kyr0x0 · 2026-09-23