Qwen3.8-27B 在 4x RTX 3090 上的深度基准测试

Mr_Moonsilver · reddit · 2026-08-18

基于 4x RTX 3090 (24GB) NVLink 拓扑的深度测试，揭示了 Qwen3.8-27B 在消费级显卡集群上的关键性能特征：

拓扑优于核心数：在高并发下，双卡 TP=2 (利用 NVLink) 的吞吐量比四卡 TP=4 (跨 PCIe 通信) 高出 33–41%。跨 PCIe 的 All-reduce 开销随 Batch 增大成为瓶颈。建议运行 2 个 TP=2 实例以榨干硬件。
MTP 推测解码反而变慢：尽管 MTP 接受率达 64%，但在 Ampere 架构 + AWQ 量化下，推测步耗时是基础步的 3.5 倍，导致整体收益为负。在 3090/A 系列卡上应关闭该功能。
Prompt Processing 串行化：Prefill 阶段并未并行处理，增加并发数不会提升吞吐量，只会导致请求排队。
长文与显存：TP=4 配置下 KV 池达 145 万 Token，可支持 5 个并发的 262k 长上下文请求，性能极为强劲。

「Infra」频道最新