5090 本地跑 Inkling Mini 实测:vLLM+DSPark+FP8 KV 300-350 tok/s

willcb · x · 2026-11-22

xlr8harder 想在本地 GPU 上批量处理任务,问 inkling mini 最快的推理方案;willcb 给出实测答案:vLLM + DSPark + FP8 KV 在 RTX 5090 上可达 300-350 tok/s(64K 上下文上限),且无需调参。

所属事件:RTX 5090 本地推理 Inkling Mini 实测达每秒 300-350 token(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →