单卡 RTX 5090 跑 Qwen3.8 27B:六大推理引擎全面横评
fuzhongkai · reddit · 2026-10-27
TensorSharp 作者发布单张 RTX 5090(32GB)上运行 Qwen3.8 27B 的六引擎对比:TensorSharp、llama.cpp、vLLM、SGLang、velox-inferer、NInfer,覆盖 TTFT、prefill、decode、并发与工具调用等场景(短问答、4K/16K/32K 文档检索、多轮对话、截图输入、JSON 输出、工具调用)。测试统一采用贪心解码、关闭思考模式、40960 token 上下文。关键发现:
- 短提示 TTFT:llama.cpp 最快,仅 27ms(plain)
- 长文档检索:NInfer 在 16K/32K 检索 TTFT 最低(32K 约 3.02s)
- 投机解码开销:llama.cpp 32K TTFT 从 5.01s 涨到 8.16s,其他引擎增加不到 0.2s
- 截图输入:TensorSharp 125ms 与 vLLM 127ms 基本持平;开 DFlash2 后 TensorSharp 以 142ms 领先
- 各引擎配置不完全相同:量化格式(NVFP4 GGUF / safetensors / .ninfer)与 KV-cache 格式有差异,结果是含量化在内的完整配置对比
结论:排名随负载变化,没有全能冠军。作者声明利益相关(TensorSharp 作者),报告含完整配置与方法论。
所属事件:单张RTX 5090横评六大推理引擎跑Qwen 27B(2 条相关)→
「Infra」频道最新
- Petabyte 推闲置休眠式 Agent 托管：事件触发唤醒,不为空转付费 — Petabyte-Cloud · 2026-10-28
- LFM3-1.7B 纯浏览器跑编码 Agent,M4 Max 上超 300 tok/s — victormustar · 2026-10-28
- Runpod 工程师演示 BenchPod:用数据替代猜测调 vLLM 配置 — AI Engineer · 2026-10-28
- 前 Intel CEO 押注 Nagare Labs,Z2RAM 欲翻越内存墙 — zephyr_z9 · 2026-10-28
- Nvidia 力推 NVHBM 被指为规避 Hynix/Micron 基底裸片风险 — basedjensen · 2026-10-28
- 英特尔 CEO 领投 Hyperbolic 3000万美元A1轮，整合碎片化 GPU 算力 — YiMaTweets · 2026-10-28