67B 图像模型跑进 16GB MacBook Air:MLX 移植峰值内存降至约 2.5GB
FlimsyBrief4232 · reddit · 2026-11-13
开发者将 MiniMax 新的约 67B 参数 H3-Image 模型移植到 Apple Silicon(MLX),在 16GB M5 MacBook Air 上即可运行,峰值进程内存仅约 2.5GB,1024×1024 出图最快 34.8 秒,且使用原版 6 步模型、无额外量化。
核心技术是组合了分阶段推理、按需 DiT 权重流式加载、异步执行、权重预取和 W8A8 Metal 加速。作者在 M5 Pro(48GB)上对比:常驻模式 23.63 秒/21.18GB,流式 32.33 秒/2.53GB,流式+预取+异步 23.61 秒/3.23GB——峰值内存降低约 85% 而速度几乎无损,三种模式出图像素级一致。
实现已开源(Python API、CLI、自动下载模型、可复现 benchmark),并支持原生 4K 生成与多参考图编辑。
「Infra」频道最新
- OpenOrange 发布:Cloudflare Workers 全家桶可跑在任何云上 — GabGarrett · 2026-11-13
- Inkling 2 Small 推理细节:每层需维护 3-token 滚动卷积缓存 — andrew_n_carr · 2026-11-13
- 微软称返修服务器「再来流量可能再瘫」,被讽容量规划崩坏 — Kyrannio · 2026-11-13
- 微软云中断要多久结束?统计规律:已持续多久就再预计多久 — esrtweet · 2026-11-13
- SGLang Summit 议程曝光:LinkedIn 广告排序 10K QPS 延迟低于 80ms — bgmshana · 2026-11-13
- 黄仁勋因间谍丑闻辞职,Derek Thompson 万字拆解 Nvidia 动荡 — zacharynado · 2026-11-13