JITEngine 为 Mac 定制合成推理引擎，最快达通用引擎 2.7 倍
CShorten30 · x · 2026-11-05
Berkeley 团队推出 JITEngine：为特定 Mac 芯片与内存配置、特定模型合成定制推理引擎，绕过通用引擎「支持一切」带来的开销。
- 基于 SkyDiscover 构建，针对 24 GB M2 与 48 GB M4 Pro 各做了专用引擎，并在两台机器上交叉跑分
- 48 GB M4 Pro 上 Qwen3.8-Flash-Next 比 slotstream 快 2.72×；24 GB M2 上 Qwen3.6 比 llama.cpp（含 MTP）快 1.36×；长上下文（252K tokens）场景快 1.22×
- 用户选定机型、内存预算与模型后，可一键拿到运行命令
所属事件:JITEngine 为 Mac 即时合成定制 LLM 推理引擎，最快提速 2.7 倍(5 条相关)→
「Infra」频道最新
- Revolut 自托管 GLM 替代 Claude,编码推理成本降约 90% — sebkrier · 2026-11-05
- 19 家算力云股年内跑输标普，算力超级周期叙事遇冷 — tengyanAI · 2026-11-05
- 印度宣布 24 个月内造出首颗国产 GPU，配套 153 亿美元半导体激励 — SumitGup · 2026-11-05
- OpenRouter 数据:DeepSeek 官方仅承载 16.84% 的自家 Token — FinanceYF5 · 2026-11-05
- 微调 Qwen 视觉小模型容易,部署却要为无流量白租 10 天 GPU — allenling · 2026-11-05
- Sol 6.1 输出仅 24.5tps 远低于宣称 750tps,$60/百万输出引吐槽 — NandaVegg · 2026-11-05