Inco Splash 开源：为 Apple 芯片定制的本地推理引擎，M5 Pro 首 token 仅 282ms
aigclink · x · 2026-09-20
GitHub 项目 incoai/splash 开源，定位为围绕模型定制的 Apple 芯片本地推理引擎，面向编程 agent 及任何 OpenAI/Anthropic 兼容客户端提供服务。
- 在 48GB M5 Pro 上解码 Qwen3.8-27B 速度为次快引擎的 2 倍，缓存 32K 上下文时首 token 延迟 282ms
- 快的原因是内核、draft 模型与内存计划按所服务模型专门定制，因此没有任何需要配置的项
- 硬件要求：Apple M3 及以上、macOS 26.4+、36GB 统一内存（推荐 48GB+）
- 安装即用：brew install incoai/tap/splash，然后 splash serve --model incoai/Qwen3.8-27B-Splash，首次运行自动下载校验模型并在 127.0.0.1:8000 起服务
所属事件:Inco 开源推理引擎 Splash：Apple Silicon 上 Qwen 27B 跑出 144 tok/s(5 条相关)→
「编程与Agent」频道最新
- 不写代码：用 Claude 搭出助理、会计等 5 个虚拟员工 — evielync · 2026-11-04
- Replit 运营负责人自建 AI 应用：自动分级客服工单并路由处理流程 — amasad · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- NVIDIA 研究：频繁上下文压缩可保长任务准确率，长上下文模型或非必需 — nvidia · 2026-11-04
- 纯 vibe coding：Opus 5.5+Meshy 做出 5 个可切换光照的彩绘玻璃 3D 场景 — Pristine_Good7326 · 2026-11-04
- LLM 写的文档为何总是难读？作者指其追求冲击力而非可读性 — mervenoyann · 2026-11-04