Tinkerbox 让 LiquidAI d1-3B 跑上苹果 ANE:40ms 延迟,能效比 GPU 高 2.3 倍

WeGoToMars7 · reddit · 2026-10-20

开发者 WeGoToMars7 发布开源项目 Tinkerbox,在 Apple Neural Engine 上高效运行决策类小模型,并通过 Shortcuts 接入系统自动化,无需写代码即可响应邮件/iMessage、文件变更、定时等触发器做本地 AI 决策。

• 性能:LiquidAI d1-3B 在 M5 Pro 上 warm 短上下文(<256 tokens)决策延迟约 40ms;FP16 与 FP32 全量模型 top choice 一致率 100%,概率漂移 <1pp;ANE 每焦耳决策数是 GPU 的 2.3 倍
• 为何适合 ANE:决策模型不做逐 token 自回归解码,避开了 ANE 内存带宽低和静态 buffer 的短板;实现用树结构一次前向并行评估多个决策进一步降延迟
• 支持:原生文本+视觉输入、32k 上下文,支持 M4/M5/M6,需 macOS 27;提供 AOT 编译好的模型和 SwiftUI 应用
• 路线图:正集成基于 Qwen3.5 的 vLLM d3 模型(0.8B/2B/4B 即将推出),计划支持 embeddings、TTS、STT、图像分割,目标是做成 ANE 优化推理框架

源码、模型和 App 均已在 GitHub/HF 开放,作者征集其他 Mac 上的实测反馈。

原文链接 →

「编程与Agent」频道最新

• Google 指南：非阻塞工具让语音 agent 首字延迟从 14.4 秒降到 1.2 秒 — rseroter · 2026-10-20
• OpenAI 新模型强化 COBOL、Fortran 等遗留语言迁移能力 — ahelkky · 2026-10-20
• 开源应用让 Codex 直接操控安卓手机,发消息购物先弹审批卡 — 3amae404 · 2026-10-20
• 开发者发现自家 agent 自动接 MCP 集成还顺手修 bug — zealcaiden · 2026-10-20
• Talk Python 播客盘点 2026 Python 现状：90% 代码在 Slack 里写 — LangChain · 2026-10-20
• 十年老用户退订 JetBrains:转向 Claude Code 后再没打开过 — MarcJSchmidt · 2026-10-20

更多「编程与Agent」频道 AI 资讯 →