Ninfer6000 实测：Qwen3.8-Flash-Next 解码最快 1.7 倍于 vLLM
dboybaker · reddit · 2026-10-16
博主在 RTX Pro 6000 Blackwell 上实测了三个推理引擎跑 Qwen3.8-Flash-Next：Ninfer6000（针对 Blackwell 与该模型调优的 Ninfer 分支）、vLLM（NVFP4）和 llama.cpp（Q4KXL）。
速度：
- 解码：Ninfer6000 平均 238 tok/s，比 vLLM（150）快 1.59 倍，比 llama.cpp（108）快 2.21 倍；长上下文下对 llama.cpp 优势扩到 3.7 倍
- Prefill：vLLM 仍最快（约 16k tok/s），Ninfer6000 约 10k，llama.cpp 约 3k
- 未复现原帖近 400 tok/s 的成绩，但接近
精度：BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 各项基准三者为误差范围内持平，仅工具调用一项 Ninfer6000 以 76.67 略胜（超出噪声）。但作者在真实使用中遇到明显的工具调用格式问题。
「Infra」频道最新
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16