Inkling 2 Mini 本地跑 210 tok/s,比 Claude 快 1.8 倍还便宜 11 倍
pcuenq · x · 2026-11-22
ExoLabs 与 Thinking Machines 合作,让 Inkling 2 Mini 在 Mac 上高速本地运行:
- 96GB M5 Ultra Mac Studio:解码 210 tok/s、prefill 3620 tok/s
- 48GB M5 Max MacBook Pro:解码 125 tok/s、prefill 1750 tok/s
实测用它构建一个原生天气应用,速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。
关键在于其 looping(循环层)架构:通过循环复用模型层来增加推理时算力与智能,而不增大模型体积,非常适合内存受限的本地设备。HF 员工转发称这是本地开源 AI 取胜的方式。
所属事件:Inkling 2 Mini 苹果芯片本地跑出 210 tok/s,比 Sonnet 便宜 11 倍(4 条相关)→
「Infra」频道最新
- 华为昇腾950DT报价达950PR三倍,良率与互联差异或是定价主因 — teortaxesTex · 2026-11-22
- 用《政事论》解读 AlphaChip:自掘之矿即王座 — krishnan · 2026-11-22
- SK 海力士 HBM4 良率据称突破 70%,Q3 全面量产出货 — Beth_Kindig · 2026-11-22
- Mflux 让 8GB Mac 跑 MOSS 图像生成:4 步蒸馏 768x768 仅 82 秒 — bio_risk · 2026-11-22
- Claude 或证黎曼猜想引热议:为何不重造 AI 的内存与推理成本? — Kitchen_Mirror_7247 · 2026-11-22
- Intel D270 AI 卡曝光:160GB LPDDR5X、350W,或售约 1 万美元 — Terminator857 · 2026-11-22