Qwen3.8-27B 在 4x RTX 3090 上的深度基准测试
Mr_Moonsilver · reddit · 2026-08-18
基于 4x RTX 3090 (24GB) NVLink 拓扑的深度测试，揭示了 Qwen3.8-27B 在消费级显卡集群上的关键性能特征：
- 拓扑优于核心数：在高并发下，双卡 TP=2 (利用 NVLink) 的吞吐量比四卡 TP=4 (跨 PCIe 通信) 高出 33–41%。跨 PCIe 的 All-reduce 开销随 Batch 增大成为瓶颈。建议运行 2 个 TP=2 实例以榨干硬件。
- MTP 推测解码反而变慢：尽管 MTP 接受率达 64%，但在 Ampere 架构 + AWQ 量化下，推测步耗时是基础步的 3.5 倍，导致整体收益为负。在 3090/A 系列卡上应关闭该功能。
- Prompt Processing 串行化：Prefill 阶段并未并行处理，增加并发数不会提升吞吐量，只会导致请求排队。
- 长文与显存：TP=4 配置下 KV 池达 145 万 Token，可支持 5 个并发的 262k 长上下文请求，性能极为强劲。
「Infra」频道最新
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16