Inkling 2 Mini 本地跑 210 tok/s,比 Claude 快 1.8 倍还便宜 11 倍

pcuenq · x · 2026-11-22

ExoLabs 与 Thinking Machines 合作,让 Inkling 2 Mini 在 Mac 上高速本地运行:

实测用它构建一个原生天气应用,速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。

关键在于其 looping(循环层)架构:通过循环复用模型层来增加推理时算力与智能,而不增大模型体积,非常适合内存受限的本地设备。HF 员工转发称这是本地开源 AI 取胜的方式。

所属事件:Inkling 2 Mini 苹果芯片本地跑出 210 tok/s,比 Sonnet 便宜 11 倍(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →