MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25%
SumitGup · x · 2026-11-22
Joshua Warren 发布 Omarchy-mlx 更新:苹果 MLX 框架通过 Vulkan 在 RTX 5060 Ti 上解码 Qwen3-4B 4-bit 达 124 tok/s,超过同卡 llama.cpp CUDA 的约 101 tok/s,质疑「CUDA 是 NVIDIA 护城河」的流行说法。
关键技术点:
- 单一改动:把依赖 compute shader 之间的完整 GPU pipeline barrier 换成更窄的 compute-to-compute barrier,消除 shader 间停顿
- 中位解码速度从 99 提升到 124 tok/s(+25.8%),五组交错 A/B 测试全部更快且输出 token 逐位一致
- 从第 6 个 token 起的中位速度 131 tok/s(+27.4%),每 token 延迟降低约 2ms
- 运行环境:M1 Max MacBook Pro 经 USB4 外接 RTX 5060 Ti 16GB eGPU,Omachry Linux
结论:MLX-Linux-Vulkan 栈在 NVIDIA 自家芯片上跑赢了 CUDA,框架层的调度优化空间比想象中大。
「Infra」频道最新
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22