5090 本地跑 Inkling 2 Mini:vLLM+DSPark+FP8 KV 达 300-350 tok/s
willcb · x · 2026-11-22
willcb 在讨论如何最快本地推理 Thinking Machines 的 inkling mini 时透露:用 vLLM + DSPark + FP8 KV cache 在 RTX 5090 上拿到 300-350 tok/s(64K 上下文上限),并表示 Neon 一次性搞定、无需调参。对想在本地 GPU 批量跑该模型的人是直接可抄的配置。
所属事件:RTX 5090 本地推理 Inkling Mini 实测达每秒 300-350 token(2 条相关)→
「Infra」频道最新
- HN 热议:AI 数据中心扩张正成为气候灾难 — Brajeshwar · 2026-11-22
- 摩尔线程曝 64GB 消费 GPU“庐山”,显存两倍于 RTX 5090 — CeFurkan · 2026-11-22
- 印度 Sarvam 推出 Token Factory:本土 GPU 托管开源前沿模型 — itsOmSarraf_ · 2026-11-22
- 安全研究曝光廉价AI中转商:窃取API密钥并偷看用户请求 — The Decoder · 2026-11-22
- 5090 本地跑 Inkling Mini 实测:vLLM+DSPark+FP8 KV 300-350 tok/s — willcb · 2026-11-22
- 马斯克:Tesla 数据量大如尼亚加拉瀑布,留存不足百万分之一 — Scobleizer · 2026-11-22