5090 本地跑 Inkling 2 Mini:vLLM+DSPark+FP8 KV 达 300-350 tok/s

willcb · x · 2026-11-22

willcb 在讨论如何最快本地推理 Thinking Machines 的 inkling mini 时透露:用 vLLM + DSPark + FP8 KV cache 在 RTX 5090 上拿到 300-350 tok/s(64K 上下文上限),并表示 Neon 一次性搞定、无需调参。对想在本地 GPU 批量跑该模型的人是直接可抄的配置。

所属事件:RTX 5090 本地推理 Inkling Mini 实测达每秒 300-350 token(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →