开发者优化 Inkling 2 Mini 推理:双 3090 飙至约 200 tok/s

Thinking Machines 新开源的 Inkling 2 Mini(26B MoE、约 3B 激活、中间 12 层每 token 循环)在 llama.cpp 上开箱仅约 50 tok/s,开发者 indrasmirror 量化后在单张 4090 上跑出近 60 tok/s;peaster 借助前沿模型指导将其移植到 Ampere 架构 GPU 上的 vLLM,使双 3090 解码速度飙升至约 200 tok/s。

2026-11-21 ~ 2026-11-22 · 2 条相关