实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持
Brilliant-Hall1387 · reddit · 2026-10-15
Precisit 团队开源了 apple-matrix-capabilities 项目,实测各代 Apple Silicon GPU 在 fp8/fp4/int8 等矩阵数据格式下的 GEMM 性能。
- 关键发现:M6 的矩阵单元支持 fp8 且速度约为 fp16 的 2 倍;M5 不具备此能力
- GEMM 性能对 AI 推理的 prefill 阶段尤为关键,数据可指导量化格式选型:如在 M6 上用 fp8、在 M5 上为 4-bit 量化选 int8
- 已测 M5/M5 Pro/M5 Max/M6,缺 M5 Ultra 等变体,公开征集社区用其测试工具补数据(需 Xcode 27 与 Metal 工具链,要求硬件空闲时运行)
- 作者透露测量工具本身由 AI 编写,并建议贡献者直接让 AI agent 跑测试提交 PR
结果表与贡献指南均在 GitHub 仓库中。
「Infra」频道最新
- MBZUAI 发布 Jais 3:375B 阿拉伯语原生模型,vLLM 首日支持 — vllm_project · 2026-10-15
- Rust 开源 XERJ 一键索引全栈数据,Agent 检索比 grep 省 40 倍 token — xerj-org · 2026-10-15
- TokenSpeed 冲上 GitHub 热榜:主打 Blackwell/Rubin 的极速 LLM 推理引擎 — lightseekorg · 2026-10-15
- 迁出 1PB 数据上云免费、取回要数万美元,企业为 AI 训练搬回本地 — DavidLinthicum · 2026-10-15
- GPU 更快了 token 却没变快:LLM 推理的 CPU 调度瓶颈解析 — blaizedsouza · 2026-10-15
- B300 转 GPU 每小时租 6 美元、推理卖 40 美元？有人算账遭质疑 — TheZachMueller · 2026-10-15