双 3090 跑 Qwen3.8-27B：vLLM 加 DFlash2 解码飙到 218 tok/s
xjx546 · reddit · 2026-08-19
Reddit 网友在 2× RTX 3090（PCIe Gen4、无 NVLink、修补 P2P、功耗锁 220/250W）上实测 Qwen3.8-27B 的推理性能，使用 vLLM v0.26.1rc1 + AutoRound INT4（group 128）+ DFlash2 draft 模型的投机解码方案：
- 代码任务解码速度达 218.3 tok/s，叙事类 120.1 tok/s；TTFT 约 170ms
- Prefill：10k 上下文 1342 tok/s，90k 上下文 628 tok/s
- 投机解码：7 个 draft token，接受率 47.8%，平均接受长度 3.35
- 峰值显存 22.3 GB/卡，无泄漏；上下文上限 131k（drafter 占约 13.5GB）
- 测量采用 Club-3090 标准测试套件（3 次预热 + 5 次测量，temp 0.6/topp 0.95/topk 20），作者称还有优化空间
- 为让 vLLM 正常启动做了自定义修改，并称用 Kimi K3 完成了全部 vLLM 修复
「Infra」频道最新
- 马斯克放话要超10GW算力,英伟达把SpaceX列为云客户联合设计太空服务器 — elonmusk · 2026-10-16
- 黄仁勋：马斯克 AI 算力规模已从 K 级跃升至 M 级 — elonmusk · 2026-10-16
- EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估 — scaling01 · 2026-10-16
- Meta Muse Spark Open 智能指数仅 39，比闭源 1.3 低 9 分 — EAccelerate_42 · 2026-10-16
- LLM 优化 ffmpeg 模糊滤镜:每帧 95GB 冗余拷贝,耗时从 2452ms 降到 49ms — IgorCarron · 2026-10-16
- DeepSeek-V4-Flash 跑上 4 张 R9700:被“拒启”的四卡配置实测可行 — brainchillzZ · 2026-10-16