开源引擎 Inco Splash：M5 Max 跑 Qwen 27B 达 144 tok/s
aigclink · x · 2026-09-20
开源推理引擎 Inco Splash 声称在 M5 Max MacBook Pro 上以 4-bit 跑 Qwen3.8-27B，解码速度达 144 tok/s，最高为 Ollama 的 3 倍、oMLX 的 2 倍；在 4 并发子 Agent/短 prompt 聚合吞吐场景下接近 4 倍。
- 目前支持 Qwen3.8-27B 与 Qwen3.6-35B-A3B，仅限 Apple 芯片
- 核心思路：内核、draft 模型和内存计划针对每个模型专门定制，无需配置
- 作者判断：如果这类小模型在 Mac 上足够快，一部分编程负载会从云端大模型 API 回流到本地
所属事件:Inco 开源推理引擎 Splash：Apple Silicon 上 Qwen 27B 跑出 144 tok/s(5 条相关)→
「编程与Agent」频道最新
- 不写代码：用 Claude 搭出助理、会计等 5 个虚拟员工 — evielync · 2026-11-04
- Replit 运营负责人自建 AI 应用：自动分级客服工单并路由处理流程 — amasad · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- NVIDIA 研究：频繁上下文压缩可保长任务准确率，长上下文模型或非必需 — nvidia · 2026-11-04
- 纯 vibe coding：Opus 5.5+Meshy 做出 5 个可切换光照的彩绘玻璃 3D 场景 — Pristine_Good7326 · 2026-11-04
- LLM 写的文档为何总是难读？作者指其追求冲击力而非可读性 — mervenoyann · 2026-11-04