开发者优化 Inkling 2 Mini 推理:双 3090 飙至约 200 tok/s
Thinking Machines 新开源的 Inkling 2 Mini(26B MoE、约 3B 激活、中间 12 层每 token 循环)在 llama.cpp 上开箱仅约 50 tok/s,开发者 indrasmirror 量化后在单张 4090 上跑出近 60 tok/s;peaster 借助前沿模型指导将其移植到 Ampere 架构 GPU 上的 vLLM,使双 3090 解码速度飙升至约 200 tok/s。
2026-11-21 ~ 2026-11-22 · 2 条相关
- Inkling 2 Mini 量化后单张 4090 跑出近 60 t/s 解码 — indrasmirror · 2026-11-21
- 开发者把 Inkling 2 Mini 移植到 vLLM,双 3090 解码速度飙至约 200 tok/s — peaster_ · 2026-11-22