Apple Silicon 本地推理引擎 Splash 1.7.1:ANE prefill 快 23%,共享系统提示新会话提速近 3 倍
oss-jiiim · reddit · 2026-11-23
开源本地推理引擎 Splash 发布 1.7.1,配套菜单栏工具 LLMenuBar 0.0.4 同步支持新特性。
- Neural Engine prefill:M6 上冷启动 2K/8K 提示的 TTFT 降低约 23%(Qwen3.8-27B),16 核 M5 Pro 上降 6-13%。
- 共享系统提示与工具的新会话:TTFT 提速 2.5-2.9 倍。
- 权重缓存加载在 M5 Max 上最高快 1.54 倍;M5 Pro 上 Flint GGUF 加载从 11.1 秒降到 3.3 秒。
- 8 路并发比 4 路吞吐高 13%(64GB M5 Pro、8 客户端、2K 提示)。
新增 --max-concurrent-requests、--sampling-default、--recalibrate-ane 三个服务端选项,均可通过 brew 安装。
「Infra」频道最新
- 开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充 — 0zyman23 · 2026-11-23
- 24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案 — SumitGup · 2026-11-23
- 改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录 — SumitGup · 2026-11-23
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23
- TechCrunch 对话 Paris Marx:新书《Hyperscale》拆解数据中心反弹 — TechCrunch AI · 2026-11-23