实测整理:Qwen3.8-27B/Flash-Next 消费级硬件跑分,5090 单卡最高 540 tok/s
FeydRowan · reddit · 2026-10-19
作者（capy-flash 引擎开发者）整理了一份能在消费级硬件上运行 Qwen3.8-27B 与 Flash-Next（125B MoE，6B 激活）的推理引擎清单，自己机器为 2× RTX 5070 Ti + 96 GB DDR5，区分了「已验证」与仅作者报告的数据。
关键结论
- 张量并行（TP）能为单请求叠加双卡带宽；层切分只加内存不加速度
- Flash-Next 的核心是专家卸载：热专家留显存、缺失专家在 CPU 算，关键看每步 miss 数
- 量化格式取舍：NVFP4 质量更好但更占字节；2–3 bit IQ GGUF 更快但 KL 约翻倍（0.144 vs 0.070）
- Drafting 提速明显：MTP 给 1.3–1.7×，DFlash2/DSpark 在 27B 上给 2–3×，多数 400+ tok/s 标题来自这里
- 单模型定制内核（MegaCapybara、NInfer、capy-flash）batch 1 时比通用引擎快 2–6×；vLLM/SGLang 在多用户场景才占优
代表性数据（27B）：1× 5090 MegaCapybara 313–540 tok/s（未验证）；2× 5070 Ti capy-flash 379 tok/s（已验证）；1× 3090 tqLLM 273 tok/s（已验证）
成本账（欧元含税）：5090 约 €9.5k，96 GB DDR5 约 €1.8k。Flash-Next 性价比最高的是 2× R9700（€4.4k，272 tok/s，约 62 tok/s/千欧）；2× 5090 反而最亏（€19k，142 tok/s，约 7 tok/s/千欧）。作者还用真实 53 轮、最长 81k token 的编码会话回放对比了 prefill 与总耗时。
所属事件:开发者实测 Qwen3.8 系列消费级硬件推理表现(2 条相关)→
「编程与Agent」频道最新
- 图工程+微模型路由：1000 篇文章一夜分拣只花 4 美分 — blaizedsouza · 2026-10-19
- 用 Claude 打造本地照片搜索应用,索引 1000 张仅 8 秒并开源 — chasedev21 · 2026-10-19
- Every 为 OpenAI 访谈脱敏自建应用，用 AI 定制团队工作流 — every · 2026-10-19
- 管理 22 个仓库上的多个 AI 智能体:如何防冲突?他列出完整方案 — Aruscha · 2026-10-19
- 开源 Trace CLI:证据驱动调查代码库,替 AI 省下整文件上下文 — jse78 · 2026-10-19
- AI Agent 蜂群协作，正在集体打造开源版 Adobe 和 Office — Numerous-Campaign844 · 2026-10-19