Inkling 2 Mini 开源模型 Mac 本地跑 125 tok/s,号称同尺寸最强

simonguozirui · x · 2026-11-21

exolabs 与 Thinking Machines 合作优化,让开源的 Inkling 2 Mini 在 Mac 本地高速运行:96GB M5 Ultra Mac Studio 解码 210 tok/s、prefill 3620 tok/s;48GB M5 Max MacBook Pro 解码 125 tok/s、prefill 1750 tok/s。

实测中该模型构建原生天气应用比 Claude Sonnet 5.5 快 1.8 倍、API 价格便宜 11 倍。作者评价其为美国开源权重模型,性能可比 Qwen 27B,可能是这个尺寸下最好的模型。

循环架构的价值在端侧:循环复用层可在不增大模型体积的情况下增加推理时算力(及智能),特别适合内存受限的 MacBook 等本地设备。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →