Inkling-2 Mini 本地跑出 210 tok/s,建应用比 Sonnet 快 1.8 倍
SonglinYang4 · x · 2026-11-21
ExoLabs 与 Thinking Machines 合作优化 Inkling-2-small 在苹果芯片上的本地推理:96GB M5 Ultra Mac Studio 上解码 210 tok/s、预填充 3620 tok/s;48GB M5 Max MacBook Pro 上解码 125 tok/s、预填充 1750 tok/s。
实测中它在 M5 Ultra 上构建原生天气应用比 Claude Sonnet 5.5 快 1.8 倍,按 API 定价算便宜 11 倍,宣传达到 Sonnet 级性能。关键在于其 looping 架构:循环复用模型层可在不增大模型体积的前提下提升推理时算力,非常适合内存受限的 MacBook 等本地设备。
所属事件:Inkling 2 Mini 苹果芯片本地跑出 210 tok/s,比 Sonnet 便宜 11 倍(4 条相关)→
「编程与Agent」频道最新
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- RLM 思路走红:把上下文移出 prompt,RLM-27B 比基线高 26.9% — dosco · 2026-11-22
- instant_record 把 Rails 模型编译进浏览器,820ms 首行、离线可用 — danshipper · 2026-11-22
- 客户自己主动内部演示 AI 工具,才算真正的落地成功 — aryanXmahajan · 2026-11-22
- 开源 AI 桌面陪伴应用 Animama:3D 动漫形象、可版本化记忆文件 — kavidy · 2026-11-22
- 用 Claude 搭建 AI 员工团队:研究报告、功能规划一条龙 — blaizedsouza · 2026-11-22