Apple Silicon 推理提速 137%，MLX 挑战赛突破端侧性能极限
gajesh · x · 2026-08-02
MLX Fast Challenge 挑战赛展示了 Apple Silicon 在本地大模型推理上的巨大潜力。目前榜首成绩相比初始基线实现了 137% 的性能飞跃，解码速度达到 184.6 tok/s，预填充速度达到 5078.6 tok/s，而初始基线仅为 73.7 tok/s 和 2616.4 tok/s。
「Infra」频道最新
- 低显存跑视频模型太慢？开发者探讨 HuggingFace Pro 订阅的性价比 — Smooth-Telephone9443 · 2026-08-03
- AI 离线推理怎么做？开发者热议批量任务的最佳工程实践 — cmm324 · 2026-08-03
- AI 工程师必看：LLM 推理部署与优化 10 周实战路线图 — _jaydeepkarale · 2026-08-03
- 应用开发者应自研端侧模型：将算力下放给用户 — abacaj · 2026-08-03
- Nemotron 3 Nano Omni 本地实测：单机跑出 264 tok/s — ivan_bezdomny · 2026-08-03
- 全球AI算力将达2亿枚H100，Agent循环加速ASI进程 — 新智元 · 2026-08-03