自写 C+Metal 运行时让 M3 Pro 跑 Qwen3.8-27B 达 18 tok/s
buryhuang · reddit · 2026-08-19
作者在 36GB 内存的 Mac M3 Pro 上本地运行 Qwen3.8-27B,实现 18 tok/s,称已达到可日常使用的水平。他对比了 llama.cpp、mlx-lm、oMLX 后,最终回归自写的 C + Metal 运行时:把模型编译成针对该机器的镜像,Q4 权重约 15GB,mmap 进统一内存,并套一层 OpenAI 兼容 API 供应用调用。
本周末的重点是投机解码:重放、验证 kernel 和草稿词表。实测代表任务:
- 完整 LRUCache 实现(1155 输出 token)平均 17.7 tok/s,六次运行输出完全一致,token 间延迟约 55ms;
- 散文类任务接受率较低,约 10-11 tok/s;五个任务平均 11.95 tok/s,不开投机解码为 7.96 tok/s,约 1.5 倍加速;
- TTFT:短 prompt 约 1.4s,128 token prompt 约 2.7s。
他指出 M3 Pro 内存带宽仅约 120GB/s,27B Q4 跑到 18 tok/s 已接近带宽墙;同机对比下自写运行时目前明显快于 llama.cpp。还剩一个 layer-fusion kernel 未实现。项目已开源(MIT),作者计划以此作为日常本地模型,等 MoE 版本再做下一轮折腾。
「编程与Agent」频道最新
- Leerob 斯坦福开讲常驻型 Agent：从模型变化到上下文工程全景 — dean_rie · 2026-10-16
- 开发者盛赞 Codex 本地计算机操作：其他 harness 都让人失望 — craigsdennis · 2026-10-16
- 数据说话：路由和安全分类用决策模型，中位速度快 7-8 倍 — randal_olson · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- Meta 超智能实验室 200+ 直接汇报,扁平组织移植到 AI Agent 设计 — peterjliu · 2026-10-16
- LangChain CEO:最有趣的 agent harness 工作在 harness 与基建交界处 — hwchase17 · 2026-10-16