C++/CUDA 推理引擎 Ninfer-ext 实测:Qwen 35B nvfp4 单卡 5090 解码逾 2,100 tok/s
giveen · reddit · 2026-10-14
开发者发布 ninfer-ext,是 NInfer 的扩展分支——一个从零编写的 C++/CUDA 推理引擎,在单张 RTX 5090(32GB)上每次只跑一个模型,推理路径完全不依赖 Python。仓库开源于 GitHub,模型 artifact 放在 Hugging Face。
预填充(C=1 到 C=8)
- Qwen3.6-35B-A3B nvfp4:5,838 tok/s(单路)→ 21,897 tok/s(8 并发)
- Qwen3.8-27B nvfp4:4,034 → 8,786 tok/s
- Gemma 4 26B-A4B(QAT int4):2,729 → 6,626 tok/s
解码(含 MTP 多 token 预测对比)
- Qwen3.6-35B-A3B nvfp4:MTP 下 8 并发达 2,142 tok/s,远超 plain 的 1,338
- Qwen3.8-27B nvfp4:MTP 8 并发 1,047 tok/s(plain 545)
- Gemma 4 26B-A4B:单路 MTP 500 tok/s,接受率 0.87-0.95
- Gemma 4 31B 因显存限制无法在 32GB 上跑 8 路 MTP;部分单元格未测并注明原因
作者详细说明了测量口径:单路数字是真实单请求速率,多路是全局吞吐;解码按整秒稳态窗口统计,并标注了自适应 draft 长度与历史存档数据的约 6% 差异。
「Infra」频道最新
- 马斯克力挺大摩报告：SpaceX 分布式推理云是被忽视的增长引擎 — elonmusk · 2026-10-14
- OCP 全球峰会面板:AMD Intel 谷歌微软共话 AI 时代扩展 — firstadopter · 2026-10-14
- 马斯克:建超算数据中心筹资易,落地极难,SpaceX 也觉吃力 — elonmusk · 2026-10-14
- 微软 Maia 300 芯片实板曝光:单托盘集成 4 颗 XPU — BenBajarin · 2026-10-14
- Ayar Labs 携手 wiwynn 展出可工作 CPO 样机，GUC 测试 XPU 实拍 — BenBajarin · 2026-10-14
- Agent 写代码时代：token 花销已达工资的 1-2 倍 — nlarusstone · 2026-10-14