开发者推出 ijah：M5 Max 本地跑 Qwen Flash-Next 的新推理引擎
SeveralViolins · reddit · 2026-10-20
继面向 M5 Max 的加速引擎 Splish 之后，作者又借鉴 EXL3 引擎 Sushi 写了新内核，推出 ijah，目标是在 128GB 的 M5+ Mac 上以最优质量与速度运行 Qwen 3.8 Flash-Next（以及 Swift 1.5 Flash Next）。作者此前对 Flash-Next 体验平平——27B 模型的 Q4 量化收益不足以抵消内存占用，但 Sushi 的 EXL3 trellis 权重让 5b/6-8b 级别模型表现惊艳，改变了他的看法。
ijah 的实测数据（5b-6/8b 模型）：质量上比 Jundot 的 oQ4e 量化更接近 bf16 原模型约 4-5 倍（KLD 0.033/0.009/0.015 vs 0.128/0.036/0.078），约比 Sushi-4bpw 好 2 倍；解码速度约 100 tok/s（服务端 90-110），落后 oMLX 约 6%，但那是用 5-bit experts 换来的；配合当天发布的 DFlash2 drafter 可到约 120 tok/s，尚待验证。作者的取舍是：速度略输，但质量提升值得。项目开源在 GitHub，并附 ko-fi 赞助链接。
「Infra」频道最新
- 花旗预测：四大巨头2027-2030累计资本开支将达5.35万亿美元 — Beth_Kindig · 2026-10-20
- DisaggKD 论文:师生分离跨节点部署,知识蒸馏不再受单卡显存限制 — Ruixuan Tu · 2026-10-20
- 44 节免费 GPU 内核工程系列：从朴素 GEMM 讲到 FlashAttention 覆盖 H100/Blackwell — Winter_Mistake_3185 · 2026-10-20
- Meta 揭秘 Prometheus 超集群:Muse 训练 goodput 超 85% — AIatMeta · 2026-10-20
- 企业 Agent 落地前必答：AI Agent 到底该跑在云、本地还是边缘 — DavidLinthicum · 2026-10-20
- REAX 推理引擎将 Perplexity Decider 提速至 6 倍，个人免费商用 — airesearch12 · 2026-10-20