单卡 RTX 5090 跑 Qwen 27B:六大推理引擎基准对比,DFlash2 提速显著
fuzhongkai · reddit · 2026-10-27
TensorSharp 作者在单张 RTX 5090 32GB 上,对 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 六个推理引擎做了系统基准,统一 40960 token 上下文、贪心解码、关闭思考模式,覆盖单请求吞吐、32K 长提示、并发请求、截图输入和小型工具循环。
核心结果(单位 tok/s):
- 纯解码最快:llama.cpp 84.2;TensorSharp 80.0、SGLang 78.5 紧随
- 开启 DFlash2 投机解码后:NInfer 单请求达 280.5,四请求并发总吞吐 488 居首;TensorSharp 并发 445;其余引擎约 235-259
- 32K 提示 TTFT:NInfer 约 3.02s 最佳;llama.cpp 开投机后从 5.01s 恶化到 8.16s
- 截图输入 TTFT:TensorSharp 125ms 与 vLLM 127ms 基本持平
- 四轮工具循环端到端:TensorSharp 0.748s 最快,vLLM 1.45s 最慢
重要限定:各引擎使用了不同的量化 checkpoint、draft 模型和 KV 格式,结果反映的是完整配置而非运行时本身;解码波动约 4%,5% 以内差异视为不显著。正确性检查中 velox 三次全部未通过 JSON-schema 用例,NInfer 开 DFlash2 出现过一次空 JSON 键。
所属事件:单张RTX 5090横评六大推理引擎跑Qwen 27B(2 条相关)→
「Infra」频道最新
- NVIDIA 发布 DSX AI 工厂设计：冷却用水趋零、同输出省电 30% — RevLebaredian · 2026-10-28
- TigerBeetle 作者谈基础设施代码：数据库是软件工艺的最后堡垒 — arpit_bhayani · 2026-10-28
- 从 SDXL 到 Krea2:LoRA 训练经验能否升级为整模型微调 — Bitter_Bag_3429 · 2026-10-28
- Stratechery 解析 Meta 财报：投资人信 Muse 就得接受算力烧钱 — Stratechery · 2026-10-28
- Cotidal 出街：TPU/LLVM 之父团队为 AGI 造超级计算机 — Ar_Douillard · 2026-10-28
- Petabyte 推闲置休眠式 Agent 托管：事件触发唤醒,不为空转付费 — Petabyte-Cloud · 2026-10-28