Ninfer 引擎实测：5090 跑 Qwen3 27B 速度翻倍
Rollingsound514 · reddit · 2026-08-28
作者分享了使用 Ninfer 引擎在 RTX 5090 上运行 Qwen3 8 27B (nvfp4 量化) 的实测数据。据称，相比 llama.cpp，该方案将吞吐量翻倍以上，峰值速度达到 220 tokens/s，平均维持在 170 tokens/s 左右。
文中提供的具体启动参数配置包括：
- 模型：qwen3827bnvfp4.ninfer
- KV 容量：240000
- KV 类型：fp8
- 推测解码 (Speculative Decoding)：开启 mtp 和 lm-head-draft，draft tokens 设为 3
- 显存分配：Host KV 设为 16GiB
- 视觉支持：开启 vision 和 media-live
作者对该项目的性能表现给予极高评价。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16