5090 本地跑 Inkling Mini 实测:vLLM+DSPark+FP8 KV 300-350 tok/s
willcb · x · 2026-11-22
xlr8harder 想在本地 GPU 上批量处理任务,问 inkling mini 最快的推理方案;willcb 给出实测答案:vLLM + DSPark + FP8 KV 在 RTX 5090 上可达 300-350 tok/s(64K 上下文上限),且无需调参。
所属事件:RTX 5090 本地推理 Inkling Mini 实测达每秒 300-350 token(2 条相关)→
「Infra」频道最新
- 摩尔线程曝 64GB 消费 GPU“庐山”,显存两倍于 RTX 5090 — CeFurkan · 2026-11-22
- 印度 Sarvam 推出 Token Factory:本土 GPU 托管开源前沿模型 — itsOmSarraf_ · 2026-11-22
- 安全研究曝光廉价AI中转商:窃取API密钥并偷看用户请求 — The Decoder · 2026-11-22
- 马斯克:Tesla 数据量大如尼亚加拉瀑布,留存不足百万分之一 — Scobleizer · 2026-11-22
- M5 Pro 实测:MLX 跑 Inkling Mini 比 llama.cpp 快约一倍 — xlr8harder · 2026-11-22
- theCUBE 主权 AI 报告:Google Cloud 以 3.45 分居主权指数榜首 — aftahi_ai · 2026-11-22