oMLX 新版让第二台 Mac 加速 prefill 最高 2.9 倍
pcuenq · x · 2026-11-05
oMLX 0.7.4.dev1 发布，引入 Prefill Accelerator：把一台 GPU 更快的 Mac（如 M5 Max）通过 Thunderbolt 或 5GbE 连到大内存 Mac（如 M3 Ultra 512GB），快机跑每段 prompt 的前几层，大机跑其余层并负责解码与 KV cache，无需 RDMA。
64K prompt 实测（M3 Ultra 512GB + M5 Max 128GB）：
- DeepSeek V4.1 Flash：1,060 → 3,123 tok/s（+195%）
- Qwen3.8 Flash-Next：1,309 → 3,666 tok/s（+180%）
- GLM-5.3 Flash：540 → 1,388 tok/s（+157%）
- MiniMax M3.1：297 → 569 tok/s（+92%）
- M5 Max 64GB 也能带来 30-118% 提升，解码速度不变
此外还有 DeepSeek V4.1 的 A8 与 buffer pool 优化（M5 Ultra prefill 快 43-48%）、Qwen3.8 Flash-Next FP16 融合内核（M3 Ultra 解码 38.9 → 63.0 tok/s，+62%）等改进。
所属事件:oMLX 新版支持用第二台 Mac 做 prefill 加速器(2 条相关)→
「Infra」频道最新
- Broadcom VCF 更新聚焦私有 AI:多租户模型共享与机密计算 — DavidLinthicum · 2026-11-05
- 流量腰斩、Supabase 账单涨 300%、Vercel 涨 400%，开发者直呼离谱 — DanielLockyer · 2026-11-05
- Flexera 报告估 29% 云支出被浪费，CostGraph 想把管成本做成基础设施产品 — saheedniyi_02 · 2026-11-05
- 本地跑 Qwen3 8B 想扩到 128GB 内存：老平台 DDR4 换条值不值 — thatscoolbutno123 · 2026-11-05
- 苹果 Core AI Models 仓库开放第三方贡献，2.2k 星端侧 AI 工具链 — pcuenq · 2026-11-05
- 四大巨头今年资本开支至少 7200 亿美元，AI 基建竞赛无人踩刹车 — The Verge AI · 2026-11-05