M5 Ultra+M3 Ultra 双机拆分预填充/解码,长提示首字时间 40 秒缩至 18 秒
Usual_Tackle5892 · reddit · 2026-10-14
作者手里有一台 M3 Ultra 512GB(内存大但长 prompt 预填充慢,17.5k token 首字要 41 秒),没有等 M5 Ultra 512GB,而是加购一台 M5 Ultra 256GB 做拆分推理:M5 负责预填充,经 Thunderbolt 5 RDMA(JACCL 后端,双线约 150Gb/s)把缓存交给 M3 解码。
单机实测(GLM-5.3-Flash 4-bit+MTP,17.5k prompt)
- M5 预填充 1,188 tok/s(8k chunk),约为 M3 的 2.4 倍;解码仅 1.4 倍(47.2 vs 32.9 tok/s)
- 性能剖析:真正的 matmul 分量提速 3-4 倍,而稀疏注意力 gather、线性注意力 scan、路由等带宽受限内核只提速 1.3-1.8 倍,占了 M5 预填充近一半时间——这是「只有 2.4 倍」的原因,也是下一个优化点(块稀疏内核)
拆分结果:M5 预填充 17.8 秒,358MB 缓存 38ms 传完,M3 38ms 后出首字,总耗时约 18.5 秒(原约 40 秒),输出与 M5 自解完全一致;GLM-5.3-Flash 的 KDA 层每 token 只约 20KB 状态,M3 空余 300GB 可缓存上千万 token 对话。栈:MLX JACCL + mlx-vlm 0.7.6 + 自写 Python 缓存序列化。
「Infra」频道最新
- 马斯克力挺大摩报告：SpaceX 分布式推理云是被忽视的增长引擎 — elonmusk · 2026-10-14
- OCP 全球峰会面板:AMD Intel 谷歌微软共话 AI 时代扩展 — firstadopter · 2026-10-14
- 马斯克:建超算数据中心筹资易,落地极难,SpaceX 也觉吃力 — elonmusk · 2026-10-14
- 微软 Maia 300 芯片实板曝光:单托盘集成 4 颗 XPU — BenBajarin · 2026-10-14
- Ayar Labs 携手 wiwynn 展出可工作 CPO 样机，GUC 测试 XPU 实拍 — BenBajarin · 2026-10-14
- Agent 写代码时代：token 花销已达工资的 1-2 倍 — nlarusstone · 2026-10-14