RTX 5090 本地推理 Inkling Mini 实测达每秒 300-350 token
围绕如何在本地 GPU 上最快运行 Thinking Machines 的 Inkling 2 Mini,用户 willcb 给出实测结果:采用 vLLM + DSPark + FP8 KV cache 方案,在 RTX 5090 上可达到约 300-350 token/s 的推理速度,适用于批量处理任务。该讨论由 xlr8harder 发起,实测数据为本地高效部署该开源权重模型提供了参考方案。
2026-11-22 ~ 2026-11-22 · 2 条相关
- 5090 本地跑 Inkling Mini 实测:vLLM+DSPark+FP8 KV 300-350 tok/s — willcb · 2026-11-22
另有 1 条近重复转述:willcb