Inkling 2 Mini 本地跑通:Mac Studio 解码 210 tok/s,比 Sonnet 便宜 11 倍
teortaxesTex · x · 2026-11-22
Exo Labs 与 Thinky Machines 合作,让 Inkling 2 Mini 在本地设备上高速运行:
- M5 Ultra Mac Studio(96GB):解码 210 tok/s,prefill 3620 tok/s
- M5 Max MacBook Pro(48GB):解码 125 tok/s,prefill 1750 tok/s
在 M5 Ultra 上构建原生天气应用比 Claude Sonnet 5.5 快 1.8 倍,按 API 定价算便宜 11 倍。其循环(looping)架构适合 MacBook 这类内存受限的本地设备:循环层增加推理时计算量(和智能)而不增大模型体积。
所属事件:Inkling 2 Mini 苹果芯片本地跑出 210 tok/s,比 Sonnet 便宜 11 倍(4 条相关)→
「Infra」频道最新
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22
- 用户实测 Flare 推理引擎:400+ tok/s — capetorch · 2026-11-22
- 华为昇腾950DT报价达950PR三倍,良率与互联差异或是定价主因 — teortaxesTex · 2026-11-22
- 用《政事论》解读 AlphaChip:自掘之矿即王座 — krishnan · 2026-11-22
- SK 海力士 HBM4 良率据称突破 70%,Q3 全面量产出货 — Beth_Kindig · 2026-11-22