Inkling 2 Mini 实测:单卡 4090 冲上 200 tok/s
Thinking Machines 新发布的小模型 Inkling 2 Mini 引发一轮本地实测热潮:多位独立博主在消费级硬件上验证了它的速度与编码能力,整体结论是模型能力出色,但部署体验参差。
已确认
- 速度:eesahe 在单张 RTX 4090 上将 Inkling 2 Mini 跑到约 190-220 tokens/s(开箱仅约 117),做法是给 vLLM 打了几个小补丁(vLLM 尚不支持 4090 跑该模型),采用 FP8+NVFP4 实测配方。loktar00 在 2x3090 上跑出 170 tok/s,称其为一个出色的本地模型,并正在扩展到 4x3090 配置,后续将发布更多结果与统计数据。
- 编码质量:Ubunta 在 Minisforum 迷你主机(Ryzen AI 9 HX 370、Radeon 890M iGPU、89GB 内存、Linux)上以约 4-bit 量化(模型约 17GB)实测,结论是 Inkling 2 Mini 代码质量确实强,在其自建高难度编程测试中小胜 Qwen 3.8 27B。
- 动态设计能力:博主 Kyle Hessling1 实测发现,只需喂入模型卡片和基准数据,Inkling 2 mini 通过 2 轮对话就自主完成了一段关于它自己的动态图形(motion graphic),而动态设计通常是小模型的弱项。
尚未确认
- loktar00 的 4x3090 扩展测试结果与详细统计数据尚未发布。
- eesahe 的 vLLM 补丁细节与完整配方有待进一步公开验证。
为什么重要
- Inkling 2 Mini 展示了小模型在消费级单卡/双卡硬件上兼顾高吞吐与强编码能力的可能性,对本地部署社区有直接参考价值。
- 但部署门槛仍然存在:vLLM 官方尚未支持 4090 跑该模型,Ubunta 明确表示 PC 端还不值得炒作、部署麻烦,认为 Mac 用户或许可以一试。能力与易用性之间的落差是当前主要争议点。
2026-11-21 ~ 2026-11-21 · 5 条相关
一手来源
- 单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方 — eesahe ·
- Inkling 2 Mini 本地实测:代码质量小胜 Qwen 3.8 27B,但部署麻烦 — Ubunta ·
- Inkling-2-Mini 本地跑出 170 tok/s:2x3090 实测惊艳博主 — LiTianleli ·
- 【源头】单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方 — eesahe · 2026-11-21
- Thinking Machines 小模型 Inkling 2 mini 实测:2 轮自主搞定动态图形设计 — LiTianleli · 2026-11-21
- 【源头】Inkling-2-Mini 本地跑出 170 tok/s:2x3090 实测惊艳博主 — LiTianleli · 2026-11-21
- 【源头】Inkling 2 Mini 本地实测:代码质量小胜 Qwen 3.8 27B,但部署麻烦 — Ubunta · 2026-11-21
- Inkling 2 Mini 编码胜 Qwen 3.8 27B,但 PC 端不值得吹 — Ubunta · 2026-11-21