Qwen3.8-27B 在 IGX Thor 与 Blackwell 上的实测
ahstanin · reddit · 2026-08-25
作者分享了在 NVIDIA IGX Thor 开发套件（配备 RTX PRO 6000 Blackwell Max-Q 96GB）上运行 Qwen3.8-27B-FP8 的详细基准测试结果。
主要发现：
- 推测解码（Speculative Decoding）效果显著：使用 DFlash2 草稿模型时，Batch 1 吞吐量提升 2.8 倍（126.3 vs 44.7 tok/s），TTFT 降低 3.3 倍。DFlash2 表现优于 EAGLE。
- SSM 状态精度陷阱：作为混合 Gated DeltaNet 模型，Qwen3.8 拥有额外的 GDN 状态池。将该状态设为 fp32 会耗尽显存，导致最大并发请求被静默限制在 21 个。切换为 bf16 可恢复全部 32 个并发并扩大 KV Cache，且在 GSM8K 评测中精度损失可忽略（93.5% vs 94.0%）。
- 推理模式延迟：开启推理（thinking）模式会带来约 137ms 的首字符延迟，语音场景建议关闭。
- 小模型上 iGPU 胜出：对比 RTX 6000 和 Thor iGPU 运行 STT/TTS，尽管 RTX 带宽更高，但 iGPU 在低延迟场景下表现更好。
「Infra」频道最新
- 新推理引擎『e』单台 DGX Station 跑出 10500 tok/s 聚合吞吐 — brandon_galang · 2026-10-16
- SGLang Day-0 支持 FLUX 3 Image Klein：单图 10 参考图，BF16/FP8/NVFP4 多精度 — ying11231 · 2026-10-16
- 英伟达 Nemotron 3.5 Super VL 上线 CoreWeave：12B 激活参数多模态 MoE，输入仅 $0.25/百万 tokens — wandb · 2026-10-16
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16