单卡 RTX 5090 跑 Qwen 27B 实测超 200 t/s

Reddit 用户在单张 RTX 5090（32GB）上运行 NVFP4 量化的 Qwen3.8-27B 模型（157k 上下文），对比传统 vLLM 与新秀推理引擎 ninfer 的选择。实测显示，使用 ninfer 引擎可实现超过 200 t/s 的解码速度，引发关于该引擎在 50 系显卡上性能优势的讨论。

2026-08-31 ~ 2026-08-31 · 2 条相关

• 单卡 5090 跑 Qwen 27B：200+ t/s 推理实战 — Maleficent-Ad5999 · 2026-08-31
• RTX 5090 跑 Qwen3.8-27B：vLLM 与新秀 ninfer 该怎么选 — MaxKingCS · 2026-08-31