开发者魔改 ANEMLL 让 Qwen3.8-27B 跑上 Mac mini M6 神经引擎,提速最高 24.7%

Striking_Luck_886 · reddit · 2026-11-09

一位开发者购入多台 32GB Mac mini M6 作为本地推理硬件,为迎接 Qwen4 MoE 做准备,并试了 OMLX、LMLX、Splash、ANEMLL 等 5 套推理方案后,自己写了针对 M6 硬件深度优化的 ANEMLL fork(anemll-forge-speedup),让 Qwen3.8-27B 跑在 Apple Neural Engine 上。

实测结果:比原版 ANEMLL 快 4.4–6.1%,比 Splash 快 2.7–24.7%。优化手段包括 prompt-lookup drafts、head-free prefill blocks、更快的 host decode 等。作者提醒 q3 量化会损失模型性能,正在训练 Q4 版本并称已解决显存装得下的问题,后续会发布。项目已开源在 GitHub。