PyTorch 2.15 MPS 大升级:Mac 上 MoE 解码快 6.5 倍,FP8 正式登陆
LysandreJik · x · 2026-10-20
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新博客,目标是让 Mac 成为 PyTorch 训练与推理的一等公民。团队上半年跑遍 Hub 上的真实模型,找出 MPS 短板并上游修复,越来越多地用专用 Metal 内核替换 MPSGraph。
- FP8 上 Mac:float8e4m3fn 存储空间仅为 BF16 一半,支持 scaled matmul 等全套算子。
- MoE 解码提速 5-6.5 倍:Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3,靠原生 grouped matmul 专用解码路径、减少 GPU-CPU 同步和更快的 top-k 路由。
- 所有 LLM 每token 开销下降:单行线性层用专用矩阵-向量内核,词表 softmax 快约 8 倍。
- 更多线性代数上 GPU:复数 LU 与三角求解、更快的小矩阵求逆与 QR 分解;音频/视频/训练负载的昂贵环节也有新 Metal 内核,2.16 计划已公布。
「Infra」频道最新
- 推理、沙箱、RL训练：Together等四家算力云殊途同归 — NielsRogge · 2026-10-20
- 英伟达 GTC 柏林站开幕，黄仁勋主题演讲明日举行 — NVIDIAAI · 2026-10-20
- Hyperdrives CEO 访谈:靠解决电机散热造更小更便宜的高功率电机 — MarvinTBaumann · 2026-10-20
- 单卡 RTX 3060 12GB 跑通 MiniMax H3 视频生成，928p 仅 23 分钟 — Ok-Inevitable8391 · 2026-10-20
- 字节阿里腾讯向 Nvidia 下单超 350 亿美元，供不应求难保交付 — pstAsiatech · 2026-10-20
- DeepSeek-V4.1-Flash 登顶 Agent Arena 开源第一，总榜第 11 — vista8 · 2026-10-20