Qwen3.8-27B 多显卡本地实测：从 4080S 到 6000 Pro 全面可用

Qwen3.8-27B 发布后，社区针对从 RTX 3090 到 RTX 6000 Pro 的多款显卡进行了密集本地性能实测。高端卡配合 SGLang 与量化技术可突破 200 tok/s，主流消费级显卡（4090、4080 Super）在长上下文编码与日常生成任务中均表现出可用性，显示该模型已具备广泛的本地部署可行性。

已确认

• @iamMess 在 RTX 3090 上通过 W4A16 量化、FP8 KV Cache、lmhead 及 embedtokens 转 int8 等优化，将推理速度提升至 672 tps
• @StefanoGogioso 转述 SGLang 的 Day-0 支持：单张 RTX 5090 配合 NVFP4 量化与 DSpark 推测解码，解码速度达 206.1 tok/s；DGX Spark 上为 38.28 tok/s
• @BanghuaZ 转述：RTX 6000 Pro（96GB）使用 SGLang 脚本、NVFP4 权重及 DSpark 推测解码，单流吞吐量 200-223 tok/s，支持原生 256k 上下文
• @rohanpaulai 分享 RTX 5090（32GB VRAM）本地演示视频，运行速度达 115 tok/s；模型官方 BF16 权重大小为 55.6 GB
• @julianharris 在 RTX 4090 上用 unsloth 4bit 量化实测，128k 上下文编码场景 73 tok/s，完全可用；关闭思考模式提速至 78 tok/s 但质量明显下降
• @BopSupreme 在 RTX 4080 Super（16GB）上全 GPU 卸载约 39 tok/s，短任务 TTFT 约 200-230ms，26K token 真实负载约 34 tok/s，可用于本地编码/Agent 任务
• @cocktailpeanut 转述用户 zast57：RTX 4090 经 Pinokio 一键部署 Ollama + OpenWebUI 运行 27B 模型，校对等文本任务接近 100 tok/s

尚未确认

• @iamMess 的 672 tps 数据未明确区分预填充与解码速度，测量口径与其他实测（两位数至两百出头 tok/s）存在显著差异，待作者补充说明

为什么重要

• 极致优化案例与高端卡实测展示了该模型在硬件潜力上的上限，而 4080 Super 等中端显卡的流畅运行证明其已具备广泛的本地部署可行性
• 思考模式开关的速度/质量取舍实测，以及 5090 普通方案 115 tok/s 与 SGLang 206 tok/s 的对比，为用户选择部署方案提供了直观参考

2026-08-16 ~ 2026-08-17 · 7 条相关

事件全程(共 14 集)→

• 第 1 集:硬核实测多平台跑通2.4T参数Qwen模型(2026-08-14,3 条)
• 第 2 集:Qwen3.8-27B在RTX 6000上基准测试征集(2026-08-15,2 条)
• 第 3 集:社区分享Qwen3.8-27B在32GB显存上的部署配置(2026-08-15,4 条)
• 第 4 集:RTX 3090 优化运行 Qwen3.8-27B 推理速度提升(2026-08-15,3 条)
• 第 5 集:双 RTX 3060 实测 Qwen3.8-27B 跑出 50 tok/s(2026-08-15,2 条)
• 第 6 集:Qwen2.5模型本地性能评测(2026-08-15,2 条)
• 第 7 集:Qwen3.8-27B 多显卡本地实测：从 4080S 到 6000 Pro 全面可用(2026-08-16,7 条)
• 第 8 集:Mac 跑本地 Agent 模型实测：内存决定可用性(2026-08-16,2 条)
• 第 9 集:RTX 3090 用户探讨 Qwen3 模型本地部署方案(2026-08-16,2 条)
• 第 10 集:Qwen3.8-27B本地部署实测：单卡稳定跑Agent与超长上下文(2026-08-16,3 条)
• 第 11 集:Qwen3.8-27B推理优化刷新RTX 3090单卡速度纪录(2026-08-18,2 条)
• 第 12 集:Inco AI 发布 DFlash 2，MacBook 推理提速至 4.6 倍(2026-08-19,4 条)
• 第 13 集:llama.cpp集成DFlash2，Qwen推理提速最高3倍(2026-08-20,2 条)
• 第 14 集:RTX 3090 上 Qwen3.8-27B 推理提速至 381 TPS(2026-08-20,2 条)

• 4090 本地跑 Qwen 27B:近100 token/s — cocktailpeanut · 2026-08-16
• RTX 6000 Pro 跑 Qwen3.8-27B 达 223 tok/s — BanghuaZ · 2026-08-17
• 【源头】Qwen 3.8 27b本地编码实测：128k上下文73 tok/s，性能可用 — julianharris · 2026-08-17
• 【源头】RTX 3090 跑 Qwen3.8-27B 达 672 tps，极致量化优化 — iamMess · 2026-08-17
• 单卡 5090 跑出每秒 206 token，Qwen3.8-27B 性能实测 — StefanoGogioso · 2026-08-17
• Qwen3.8 27B 在 RTX 4080 Super 上跑出 39 tok/s，本地编码够用 — BopSupreme · 2026-08-17
• 【源头】RTX 5090 实测：本地运行 Qwen 3.8 27B 速度达 115 tok/s — rohanpaul_ai · 2026-08-17