实测多引擎跑 Qwen3.8-27B：双 5070 Ti 达 379 tok/s，RAM 成本超 GPU
FeydRowan · reddit · 2026-10-19
作者（capy-flash 引擎开发者）系统整理了在消费级硬件上运行 Qwen3.8-27B 与 Qwen3.8-Flash-Next（125B MoE，6B 激活）的各引擎实测与宣称数据，并区分「已验证」与「仅作者宣称」。
关键架构结论
- 多 GPU：只有张量并行（TP）能把两张卡的带宽叠加给单请求；流水线/分层切分只加显存不加速度（+0–16%）。
- MoE 专家卸载（Flash-Next）：VRAM 专家缓存 + CPU 兜底计算是主流方案，瓶颈在每步专家 miss 率；Mac 上还有 SSD 流式方案。
- 量化：NVFP4 质量更高，2–3-bit IQ/GSQ 更快但 KL 约为 2 倍（Strata 自测 0.144 vs 0.070），EXL3 每比特质量最佳。
- 投机解码：MTP 提速 1.3–1.7×，DFlash2/DSpark drafter 可达 2–3×——「400+ tok/s」标题多源于此；Flash-Next 的 DFlash2 drafter 已发布但尚无消费级硬件验证。
- 手写单模型内核（MegaCapybara、NInfer、capy-flash 等）在 batch 1 下比通用引擎快 2–6×；多并发时 vLLM/SGLang 反超。
代表数据
- 27B 解码：capy-flash 双 5070 Ti（TP2+DFlash2）实测 379 tok/s；llama.cpp 单 5090 实测 205；3090 上 tqLLM 实测 273；M5 Pro 上 Splash 宣称 74。
- 27B 预填充：NInfer 单 5090 宣称 12.8k tok/s；capy-flash 双 5070 Ti 实测 9.2k（无 P2P 主板）。
- 经验法则：约 1.8 TB/s 带宽 + 好 drafter，batch 1 上限约 300–400 tok/s。
成本提醒：按 2026 年 DDR5 价格，跑 Flash-Next 所需的 RAM 比显卡还贵——作者重做了成本核算，把内存算进去了。
所属事件:开发者实测 Qwen3.8 系列消费级硬件推理表现(2 条相关)→
「Infra」频道最新
- 实测整理:Qwen3.8-27B/Flash-Next 消费级硬件跑分,5090 单卡最高 540 tok/s — FeydRowan · 2026-10-19
- Bernstein：9 月数据中心项目管线 +13%，达 456 GW — firstadopter · 2026-10-19
- llama.cpp v0.7.0 默认端口从 8080 改为 9931，升级注意破坏性变更 — 413205 · 2026-10-19
- 电网排队到 2030 年代，微软退出英国 20 亿英镑 AI 数据中心项目 — Polymarket · 2026-10-19
- Qwen3 本地跑 27B 模型,两小时免费生成整支视频 — aziz4ai · 2026-10-19
- Poliscope 用单台 Qdrant 服务器检索全德 4800 个政务门户,查询从 20 秒降至 0.87 秒 — qdrant_engine · 2026-10-19