Inkling-2 Mini 本地跑出 210 tok/s,建应用比 Sonnet 快 1.8 倍

SonglinYang4 · x · 2026-11-21

ExoLabs 与 Thinking Machines 合作优化 Inkling-2-small 在苹果芯片上的本地推理:96GB M5 Ultra Mac Studio 上解码 210 tok/s、预填充 3620 tok/s;48GB M5 Max MacBook Pro 上解码 125 tok/s、预填充 1750 tok/s。

实测中它在 M5 Ultra 上构建原生天气应用比 Claude Sonnet 5.5 快 1.8 倍,按 API 定价算便宜 11 倍,宣传达到 Sonnet 级性能。关键在于其 looping 架构:循环复用模型层可在不增大模型体积的前提下提升推理时算力,非常适合内存受限的 MacBook 等本地设备。

所属事件:Inkling 2 Mini 苹果芯片本地跑出 210 tok/s,比 Sonnet 便宜 11 倍(4 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →