JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍
AccBalanced · x · 2026-11-07
SkyDiscover 团队发布 JITEngine：针对给定模型和 Mac 硬件「按需合成」定制 LLM 推理引擎，而不是用通用引擎。
- 由 SkyDiscover 在 Apple Silicon 上自动生成专用引擎
- 团队称比其测试过的最快替代方案最高快 2.7 倍
- Ion Stoica（Spark/Mosaic 创始人）转发推荐，详情见其博客
「Infra」频道最新
- 英伟达全球首个共封装光学以太网交换机进入量产 — TinfoilTricorn · 2026-11-07
- 本周开源训练资源三连：MoE 训练手册、训练 harness 适配器与排行榜 — ariG23498 · 2026-11-07
- 马斯克：2-3 年内太空将成为运行超智能成本最低之地 — TinfoilTricorn · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07