JITEngine 为 Mac 即时合成 LLM 推理引擎,最快提速 2.7 倍
abeirami · x · 2026-11-05
JITEngine 用 SkyDiscover 为特定模型和 Mac 配置即时合成定制推理引擎,号称比测过的最快替代方案最高快 2.72 倍。
- 针对 48 GB M4 Pro 上的 Qwen3.8-Flash-Next,相比 slotstream 达 2.72×
- 24 GB M2 上的 Qwen3.6,相比开启 MTP 的 llama.cpp 达 1.36×
- 48 GB M4 Pro 上 252K 上下文的 Flint,相比 rec 达 1.22×
用户选好机型、内存预算和模型后,即可获得一条 zsh 命令直接部署。目前覆盖 Apple Silicon 本地部署场景。
「Infra」频道最新
- 开源 TrnRT 引擎在单台 Trainium2 跑 GLM-5.3-Flash,每分钟 357 万 token — ycombinator · 2026-11-05
- 斯坦福实测:同样耗电下 NVIDIA B200 价值产出是 AMD MI350X 的 4 倍 — rohanpaul_ai · 2026-11-05
- My Local AI 安卓内测开启：手机免费跑本地模型 — TheOyinbooke · 2026-11-05
- 亚马逊 CEO：Graviton 与 Trainium 营收承诺同比增长超 20 倍 — Beth_Kindig · 2026-11-05
- 半导体高管：即便美国放缓建设，海外算力需求足以撑住预测 — inductionheads · 2026-11-05
- ZeroGR：先过滤再评分，生成式推荐解码提速最高 9.9 倍 — _reachsumit · 2026-11-05