Inkling 2 Mini 开源模型 Mac 本地跑 125 tok/s,号称同尺寸最强
simonguozirui · x · 2026-11-21
exolabs 与 Thinking Machines 合作优化,让开源的 Inkling 2 Mini 在 Mac 本地高速运行:96GB M5 Ultra Mac Studio 解码 210 tok/s、prefill 3620 tok/s;48GB M5 Max MacBook Pro 解码 125 tok/s、prefill 1750 tok/s。
实测中该模型构建原生天气应用比 Claude Sonnet 5.5 快 1.8 倍、API 价格便宜 11 倍。作者评价其为美国开源权重模型,性能可比 Qwen 27B,可能是这个尺寸下最好的模型。
循环架构的价值在端侧:循环复用层可在不增大模型体积的情况下增加推理时算力(及智能),特别适合内存受限的 MacBook 等本地设备。
「Infra」频道最新
- Reddit 讨论:数千文件级 GPU 批量任务大家都怎么跑? — mrtonymat · 2026-11-21
- ComfyUI 读速卡在 400MB/s:换 NVMe 后模型加载不见快 — C-h_A_o-S · 2026-11-21
- 单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方 — eesahe · 2026-11-21
- 同卡同模型 4 倍吞吐:Surogate 2765 tok/s 对比 llama.cpp 683 — AIFlow_ML · 2026-11-21
- Compound 测算 AI 减速情景:若营收腰斩,Nvidia 等或跌逾四成 — tengyanAI · 2026-11-21
- DatologyAI 开源训练数据加载器 Zephon:换 GPU 数不再打乱数据 — josh_wills · 2026-11-21