RTX 5090+4070 TiS 双卡跑 Qwen 27B FP8,258K 上下文实测
Fz1zz · reddit · 2026-09-27
Reddit 用户用 RTX 5090(32GB)+ RTX 4070 Ti Super(16GB)共 48GB 显存,在 vLLM 0.30.0 上以流水线并行方式跑通了 Qwen3.8-27B 的 block-FP8 量化版(28.75 GiB):4070 承载第 0-19 层和视觉编码器,5090 承载第 20-63 层、lmhead 和 MTP。
实测数据:
- 1K 输入/512 输出、单并发:81.3 tok/s(ITL 36.7ms),代码场景约 100 tok/s
- MTP 接受率约 87%,完整 262,144 上下文,fp8 KV
- 32K prefill 3,160 tok/s;145K fresh prefill 约 68.6s;258K prefill 169s,5090 峰值显存 31,472 MiB
作者还提到 4070 Ti Super 因担心 PCIe x1 带宽拖慢而闲置了两个月,实测证明影响不大——对想用混合显卡跑大模型的人有参考价值。
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16