Qwen3.8-27B 六引擎横评：不只测速度，还测 256K 长文下的质量衰减
fuzhongkai · reddit · 2026-11-06
作者对 Qwen3.8-27B 在六个推理引擎上做了横向基准，最大特色是同时测量速度与输出质量，并覆盖 GGUF 与 NInfer 两种模型格式。主要发现：
- 测量维度：TTFT、prefill/decode 吞吐、并发性能、端到端任务延迟，以及自动化的输出质量校验。
- 长上下文：分 64K/128K/256K 三档压测。随上下文变长，引擎排名发生显著变化——短 prompt 下表现出色的配置在 128K–256K 明显掉队。
- 格式对比：GGUF vs NInfer 配置在同一负载下对比（作者注明是整套引擎+配置的对比，非格式本身的隔离测量）。
- 核心结论：没有全能赢家；decode 吞吐、TTFT 与端到端延迟会给出不同排名；质量校验应成为推理基准的标配而非事后补充。
作者披露自己是参评引擎 TensorSharp 的作者，声称目的是给本地 LLM 社区提供数据而非宣称某引擎全面胜出。完整结果见附图。
「Infra」频道最新
- Steam 数据：仅 2% PC 玩家持有 RTX 5080/5090 — ssh4net · 2026-11-06
- SOX 单日暴跌 12.2%，创 2020 年 3 月以来最差表现 — tengyanAI · 2026-11-06
- Replit 自建内核沙箱,审计 6211 个 CVE 躲掉 96% — amasad · 2026-11-06
- Eigen AI 创始人谈推理经济学:更便宜的 token 会扩大整个市场 — songhan_mit · 2026-11-06
- DFlash 2 并行草拟破解投机解码瓶颈:多接受 21% token 仅增 1.3% 延迟 — songhan_mit · 2026-11-06
- 从预训练到后训练全程 4-bit,团队称 68 小时完成预训练 — teortaxesTex · 2026-11-06