双 3090 跑 Qwen3.8-27B：vLLM 加 DFlash2 解码飙到 218 tok/s
xjx546 · reddit · 2026-08-19
Reddit 网友在 2× RTX 3090（PCIe Gen4、无 NVLink、修补 P2P、功耗锁 220/250W）上实测 Qwen3.8-27B 的推理性能，使用 vLLM v0.26.1rc1 + AutoRound INT4（group 128）+ DFlash2 draft 模型的投机解码方案：
- 代码任务解码速度达 218.3 tok/s，叙事类 120.1 tok/s；TTFT 约 170ms
- Prefill：10k 上下文 1342 tok/s，90k 上下文 628 tok/s
- 投机解码：7 个 draft token，接受率 47.8%，平均接受长度 3.35
- 峰值显存 22.3 GB/卡，无泄漏；上下文上限 131k（drafter 占约 13.5GB）
- 测量采用 Club-3090 标准测试套件（3 次预热 + 5 次测量，temp 0.6/topp 0.95/topk 20），作者称还有优化空间
- 为让 vLLM 正常启动做了自定义修改，并称用 Kimi K3 完成了全部 vLLM 修复
「Infra」频道最新
- Google Willow 芯片量子纠错降 40 倍，比特币 Q-Day 或提前 — jamestagg · 2026-10-16
- Vibe coding 数据管道易,亿级生产可靠难:八大数据工程课题清单 — Zachly · 2026-10-16
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16