Qwen3.8-27B 六大推理引擎横评:兼顾速度与 256K 长文质量

TensorSharp 作者对 Qwen3.8-27B 在六个推理引擎上进行了综合基准测试,覆盖 GGUF 与 NInfer 两种模型格式。与以往只测速度不同,该评测同时测量输出质量,指标包括 TTFT、prefill/decode 速度等,并特别考察了 256K 长上下文下的质量衰减情况,为选择推理引擎提供了速度与质量并重的参考。

2026-11-06 ~ 2026-11-06 · 2 条相关