Inkling 2 Mini 苹果芯片本地跑出 210 tok/s,比 Sonnet 便宜 11 倍

ExoLabs 与 Thinking Machines(Thinky Machines)合作优化开源模型 Inkling 2 Mini 在苹果芯片上的本地推理:在 96GB M5 Ultra Mac Studio 上解码速度达 210 tok/s(另有帖子提到 125 tok/s 的数据),号称同尺寸最强。开发者反馈用它搭建应用比 Sonnet 快 1.8 倍,成本便宜约 11 倍,显示小型模型本地部署的实用潜力。

2026-11-21 ~ 2026-11-22 · 4 条相关

事件全程(共 16 集)→

另有 2 条近重复转述:teortaxesTex · pcuenq