Inco 开源推理引擎 Splash：Apple Silicon 上 Qwen 27B 跑出 144 tok/s

Inco 发布开源推理引擎 Splash（GitHub 项目 incoai/splash），定位为围绕模型与 Apple Silicon 深度优化的本地推理引擎，内置 DFlash 2 draft 模型，两条命令即可运行，面向编程 agent 及任何 OpenAI/Anthropic 兼容客户端提供服务。

已确认

• 官方宣称在 M5 Max MacBook Pro 上以 4-bit 跑 Qwen3.8-27B，解码速度达 144 tok/s，约为 Ollama 的 3 倍、oMLX 的 2 倍
• 官方对比还涉及 4 并发场景的表现
• 在 48GB M5 Pro 上解码 Qwen 模型首 token 仅 282ms
• 引擎已开源，支持 OpenAI/Anthropic 兼容客户端接入

尚未确认

• 144 tok/s 等性能数据均为官方宣称的对比结果，尚缺独立第三方实测验证

为什么重要

• 若数据属实，将显著提升 MacBook 等 Apple 设备上本地运行较大模型的体验，对本地推理与编程 agent 场景有直接价值

2026-09-19 ~ 2026-09-20 · 5 条相关

• 开源推理引擎 Inco Splash：M5 Max 上 Qwen3.8-27B 跑到 144 tok/s — Lianhuiq · 2026-09-19
• 【源头】开源引擎 Inco Splash 让 Qwen3.8-27B 在 M5 Max 跑出 144 tok/s — ResearchCrafty1804 · 2026-09-19
• 【源头】Inco Splash 开源：为 Apple 芯片定制的本地推理引擎，M5 Pro 首 token 仅 282ms — aigclink · 2026-09-20

另有 2 条近重复转述:TheMoonMidas · aigclink