单张 5090 实测 7 款 Qwen3.8 推理引擎,Basalt 解码最快
jesdga95 · reddit · 2026-10-24
Reddit 用户(Basalt 引擎开发者本人)在单张 RTX 5090(400W 功耗限制)+ 128GB 内存的 Linux 机器上,对 7 款 Qwen 3.8 FN 推理引擎做了统一下的基准测试:Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 与 Basalt。每款引擎用各自工具转换 NVIDIA 的 NVFP4 权重,按各自文档推荐的配置运行,greedy 采样、关闭思考、int8 KV cache,每个请求冷启动一次。
主要结果
- 解码速度:Basalt 与 Infernix 领先,Basalt 在 prose/conversation 上比 Infernix 快约 10%(354 vs 349 tok/s struct 算打平);capy-flash 是其余中最接近的,但它主要为双 GPU 张量并行设计,单卡不是最佳场景。
- 预填充与 TTFT:25K 上下文两者打平(3.94s 首token),50K 以上 Basalt 明显拉开——200K 上下文 TTFT 23.79s vs Infernix 31.81s。
- Prefill 吞吐:Basalt 在 100K/200K 达 8,666/8,609 tok/s,Infernix 约 6,400-6,600。
- llama.cpp 因关闭 MTP,解码不可比,仅作参考基线(约 39 tok/s)。
测试方法:wikitext 前缀 25K/50K/100K/200K 后续写 512 token,5% 以内的差距视为打平。作者附了各引擎的 commit、权重转换方式与 drafter(MTP/speculative decoding)配置。
「Infra」频道最新
- 开源 RL 框架 Miles v0.1.3:首次权重同步 99.5 秒降至 3.9 秒 — hsu_byron · 2026-10-24
- Ziang Li 展示训练实绩:Tensor Core 利用率超 98% — gharik · 2026-10-24
- 砸数百万做 AI 应用分文未赚,旧 GPU 服务器却升值回本 — stephen280up · 2026-10-24
- Polymarket 开盘：明年年底前 AI 数据中心上天，概率 24% — Polymarket · 2026-10-24
- Polymarket 玩梗：谷歌为建 AI 数据中心砍林，狼群进 Finnish 村庄 — Polymarket · 2026-10-24
- AI 泡沫信号盘点：GPU 闲置、数据中心债务与收入集中隐忧 — The AI Daily Brief · 2026-10-24