Inkling 2 Mini 在 RTX 5090 上用 vLLM 跑出 200 tok/s

VoidAsuka · x · 2026-11-22

开发者 @gaunernst 分享实测:在 RTX 5090 上用 vLLM 运行 Inkling 2 Mini 模型,开箱即得 200 tokens/秒的生成速度,并原生支持 NVFP4 量化。其思维链相比 Qwen 更简洁流畅,第一印象体验顺滑。转帖者戏称这是「逃离永久底层」的福利。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →